Тестирование серии ментальных карт: как думать как CRO Pro (часть 11)

Интервью с Рубеном де Буром

Вы тот, кто хочет получить больше от экспериментов?

Наш сегодняшний гость занимается этим в течение многих лет и может помочь вам начать собственное путешествие экспериментов. Кроме того, у него есть несколько отличных советов о том, как убедиться, что ваши эксперименты обеспечивают правильную рентабельность инвестиций.

Как только вы все это выясните, вы захотите отслеживать все полученные знания, чтобы применять их в своей компании. У нашего эксперта есть масса советов, как это сделать.

Давайте погрузимся.

Рубен, расскажи о себе. Что вдохновило вас заняться тестированием и оптимизацией?

В 2009 году я помогал компании, которая учила людей становиться счастливее и увереннее, улучшая социальные навыки. В то время меня действительно поразила важность поддержки и вдохновения других через то, что вы любите делать. Меня тоже заинтересовал вопрос:

Если мы можем изменить поведение людей в оффлайне, как мы можем сделать это онлайн?

Так я занялся исследованиями человеческого поведения и психологии. Данные всегда были моей вещью. Мне нравится находить закономерности и решения в данных (в школе я гораздо лучше разбирался в темах, связанных с данными, чем в любой другой теме).

А еще я люблю оптимизацию и получение результата. Не только в работе, но и в личной жизни.

Это сочетание интересов и увлечений естественным образом подтолкнуло меня к работе в области тестирования и оптимизации.

Сколько лет вы занимаетесь оптимизацией? Какой ресурс вы рекомендуете начинающим тестировщикам и оптимизаторам?

В 2009 году я начал оптимизировать веб-сайты и анализировать деловые и онлайн-данные. Только в 2011 году я провел свой первый A/B-тест. Конечно, я сделал все ошибки, которые можно совершить, начиная с оптимизации коэффициента конверсии.

Мой ресурс номер один — это встречи с другими специалистами в этой области. Делитесь идеями и опытом и учитесь друг у друга. На мероприятиях черпайте идеи не только от выступающих, но и от зрителей. Помогая друг другу и учась вместе, мы можем вывести себя и свою работу на новый уровень.

Ответьте в 5 словах или меньше: что для вас дисциплина оптимизации?

Непрерывное улучшение мышления, обучение и экспериментирование.

Какие 3 вещи ДОЛЖНЫ понять люди, прежде чем начать оптимизацию?

Во-первых, правильно освойте основы . Специалисты часто проводят эксперименты, основанные на общепринятых практиках. Однако эти методы были протестированы на разных веб-сайтах (если они вообще были протестированы) и могут вообще не работать для вашего веб-сайта или (цифрового) продукта.

Получите свои идеи для тестирования из своих данных, пользователей и научных исследований. И когда вы закончите эксперимент, подумайте о том, что вы узнали, и какие новые идеи для тестов вы можете придумать на основе этих знаний. Эти источники помогут вам разработать надежные идеи для тестирования с большей вероятностью найти выигрышные варианты.

Еще один основной процесс, в котором, как я вижу, ошибаются многие специалисты, — это статистика. Для каждого эксперимента проведите предварительный анализ . Рассчитайте минимальный размер выборки и продолжительность теста и остановите тест только после того, как вы их достигнете.

Если вы обнаружите, что у вас недостаточно трафика для A/B-тестирования в ваших предварительных расчетах, найдите другие способы проверки ваших тестовых идей, например, с помощью юзабилити-тестирования.

Во-вторых, процесс является ключевым . Без надлежащего процесса вы не добьетесь успеха. Чтобы оптимизировать свой процесс, вы должны понимать окупаемость инвестиций (ROI) экспериментов:

ROI = (Количество * Качество) / Затраты

Количество — это количество экспериментов, которые вы проводите. Качество — это процент побед и ценность победителя. Затраты времени и денег, так что ваша эффективность.

Имея правильный процесс (включая инструмент для отслеживания вашего процесса, прогресса и идей!), вы можете оптимизировать рентабельность инвестиций и успех экспериментов.

И в-третьих, поймите, что ваша работа заключается не только в проведении A/B-тестов. Большая часть вашей работы должна быть посвящена управлению изменениями . Чтобы процветать и работать над культурой экспериментирования, А/В-тестирования недостаточно. Вам нужно изменить культуру, мышление и то, как работает вся ваша организация. Начните с привлечения людей, особенно высшего руководства.

Как вы обрабатываете качественные и количественные данные, чтобы они могли рассказать вам непредвзятую историю?

В двух словах:

Первым шагом является проведение тщательного исследования с использованием различных ресурсов, таких как веб-данные, служба поддержки клиентов, обзоры, опросы и научные статьи.

Второй шаг в этом процессе — превратить выводы вашего исследования в твердые всеобъемлющие гипотезы . Стремитесь к пяти-десяти гипотезам, которые что-то говорят о ваших (потенциальных) клиентах, не связанных с одним элементом или веб-страницей.

Например:

• Клиенты считают наши продукты слишком дорогими
• Людям нужна дополнительная информация о нашем сервисе перед регистрацией
• Люди становятся нашими клиентами, поскольку им нужно принадлежать

Затем вы можете проверить эти гипотезы с помощью нескольких связанных экспериментов, также основанных на ваших исследованиях. Это называется метаанализом .

Почему? Одиночное A/B-тестирование подвержено ошибкам. Ваш эксперимент может привести к ложноположительному результату, или причина успешного эксперимента может отличаться от той, что указана в вашей гипотезе. С помощью метаанализа мы ближе всего подходим к истине. Поэтому наши идеи более надежны, и мы проводим более качественные последующие эксперименты.

Метаанализ — это доказательство высочайшего качества, которое вы можете получить, основанное на иерархии доказательств.

Последний шаг в этом процессе включает в себя отслеживание того, какая всеобъемлющая гипотеза работает и на каком этапе пути клиента (на какой странице), а также определение приоритетов ваших тестовых идей на основе этого, чтобы максимизировать ваш процент выигрышей и полученные знания.

Какую программу обучения вы разработали для своей команды по оптимизации? И почему вы выбрали именно этот подход?

Процесс, изложенный выше, поможет вам получить надежную информацию, из которой вы и ваша организация действительно сможете извлечь уроки.

Когда вы хорошо документируете этот мета-анализ (в таком инструменте, как Airtable), становится легче увидеть, в чем заключается ваш успех. Помечая каждый эксперимент всеобъемлющей гипотезой и психологическим направлением, вы получаете невероятное количество знаний о потребностях (и проблемах) ваших потенциальных клиентов, а также знаете, на каком этапе пути клиента их решать и с помощью каких экспериментов.

После того, как вы проведете множество экспериментов и начнете получать четкую картину, вы можете поделиться этими знаниями, и вся организация сможет извлечь уроки и извлечь из этого пользу.

От какого наиболее раздражающего мифа об оптимизации вы бы хотели избавиться?

я упомяну два

Эксперименты с невероятными подъемами могут быть достигнуты (с помощью одного A/B-теста). Виноваты в этом в основном некоторые вендоры, так как в своих кейсах и на своих лендингах они рекламируются с огромными подъемами, что приводит к ложным ожиданиям.

Организации, которые используют эксперименты для лучшего принятия решений, часто добиваются успеха. Не те, которые сосредоточены исключительно на деньгах.

А во-вторых, название «Оптимизация коэффициента конверсии» в целом. Он производит неправильное впечатление и слишком узок для того, что могут сделать специалисты по экспериментам.

Надеемся, что наше интервью с Рубеном поможет направить вашу стратегию экспериментов в правильное русло! Какой совет вам больше всего понравился?

Обязательно ждите нашего следующего интервью с экспертом по CRO, который расскажет нам о еще более продвинутых стратегиях! А если вы еще этого не сделали, посмотрите наши интервью с Гурсимраном Гуджралом , Хейли Карпентер , Риши Рават , Сина Фак , Иден Бидани , Якуб Линовски , Шива Манджунат , Андра Бараган , а также наши последние интервью с Ричем Пейджем .