Входные и выходные показатели в экспериментах: как выбрать, что измерять

Метрики, которые вы определяете и отслеживаете для своей экспериментальной программы, невероятно важны.

То, что вы измеряете, определяет ваше внимание. Говорят: «Вы не можете управлять тем, что не измеряете».

И хотя это совершенно верно (вы, безусловно, можете похудеть, даже если не смотрите на весы), это направлено и практически верно (намного легче похудеть, если вы смотрите на весы).

Я потратил массу времени на размышления о том, какие метрики имеют значение в экспериментах.

Что еще более важно, я потратил много времени на размышления как о входных метриках, так и о выходных метриках.

В чем разница между входными и выходными показателями?

Входные метрики — это опережающие индикаторы, которыми вы можете напрямую управлять. Как правило, они отслеживают усилия, распределение ресурсов и операционную эффективность.

Идея входных метрик заключается в том, что они коррелируют с выходными метриками.

Хотя вы не можете очень точно предсказать, в частности, каким будет ваш совокупный коэффициент конверсии, вы можете легко контролировать, сколько экспериментов вы проводите, насколько эффективно вы проталкиваете выигрыши в производство и, в некоторой степени, каков ваш коэффициент выигрышей. и средний размер выигрыша.

Эти вещи могут и должны сопоставляться с вашими выходными показателями, которые обычно представляют собой числовые бизнес-показатели, о которых заботятся заинтересованные стороны. Это цифры, которые показывают, действительно ли все усилия, которые вы вкладываете в эксперименты, окупаются с точки зрения рентабельности инвестиций.

Поскольку выходные метрики сосредоточены на бизнес-результатах, я сначала пройдусь по ним — причина в том, что ваши выходные метрики должны определять ваши входные метрики.

Проще говоря, ваши выходные метрики — это то, что важно для бизнеса, а ваши входные метрики — это рычаги, которыми вы можете управлять, чтобы получить эти результаты.

Показатели результатов эксперимента

Выходные показатели — это то, что вы показываете своему боссу. Они связаны с ценностью вашей экспериментальной программы и показывают, что в целом вы получаете положительную рентабельность инвестиций.

На самом деле метрикой результата эксперимента может быть любое количественное значение, которое вы можете измерить. В большинстве случаев это дискретная или бинарная метрика, например коэффициент конверсии, но иногда это непрерывная метрика, например доход на одного посетителя.

Во всех случаях вы хотите сопоставить свою выходную метрику, которая представляет наибольшую ценность для вашего бизнеса.

Лучший способ разделить экспериментальные показатели на две категории: микроконверсии и макроконверсии (также известные как первичные и вторичные показатели) .

Микроконверсии против макроконверсий (и показатели мониторинга)

Общий совет в сфере A/B-тестирования — оптимизировать макроконверсии.

Макроконверсии, хотя и определяются вами и вашим бизнесом, наиболее близки к деньгам. В электронной коммерции это покупка или доход с посетителя. В B2B это может быть качественная конверсия потенциальных клиентов или, возможно, подписка на бесплатное программное обеспечение.

В любом случае вы можете сопоставить микроконверсии непосредственно с доходом, и, таким образом, рентабельность инвестиций в этих экспериментах легко измерить и оправдать усилия.

Микроконверсии — это те действия, которые ведут к макроконверсии и, как правило, сильно коррелируют с завершением макроконверсии.

В электронной коммерции микроконверсиями могут быть добавление в корзину, переходы по баннеру или даже подписка на список рассылки. В B2B это могут быть переходы на страницу с ценами, клики с призывом к действию или подписки на рассылки.

Существуют также метрики мониторинга или метрики ограждений . Это качественные показатели, которые вы можете не стремиться улучшить, но стремиться не навредить. Таким образом, если эксперимент повышает коэффициент конверсии, но также увеличивает возврат продукта или возврат средств, вы не можете запускать этот эксперимент в производство.

Между этими двумя категориями нет универсального и объективного разделения, хотя есть некоторые очевидные разногласия. А именно, приводит ли конверсия непосредственно к доходу для вашего бизнеса?

Здесь я рассмотрю 18 выходных показателей, разделив их на макро- и микроконверсии. В конце мы обсудим, как выбрать правильные выходные цели для вашего бизнеса.

Макроконверсии

Показатели конверсии (любого типа)

Коэффициент конверсии — наиболее распространенный выходной показатель, но он может означать многое для разных видов бизнеса.

На фундаментальном уровне это просто означает, что вы пытаетесь увеличить долю тех, кто просматривает опыт, а затем выполняет желаемое действие после просмотра этого опыта.

1. Коэффициент конверсии потенциальных клиентов

Одним из наиболее распространенных типов коэффициента конверсии является коэффициент конверсии потенциальных клиентов.

Это доля посетителей вашего сайта, которые регистрируются, чтобы стать лидом. Определение «лида», конечно, зависит от вашего бизнеса. В некоторых случаях это кто-то, кто подписывается, чтобы запросить демонстрацию.

Иногда предприятия углубляются и подсчитывают только «подходящие» лиды, что основано на обогащении данных или фильтрации различных измерений, чтобы определить, подходит ли кто-то для продукта.

Другие компании будут учитывать потенциальных клиентов, отвечающих требованиям маркетинга, например, тех посетителей, которые подписались на вебинар или скачали технический документ.

2. Регистрация или покупка продукта

Подписка на продукт — это явная макроконверсия. Если вы продаете физические товары, это кто-то покупает их. Если вы являетесь условно-бесплатной SaaS-компанией, это тот, кто впервые использует ваш продукт.

Трудно представить себе программу маркетинговых экспериментов, в которой это не отслеживается как основной KPI эксперимента.

3. Скорость активации

Приступая к экспериментированию с продуктом, одна из первых вещей, о которой следует помнить растущей компании, ориентированной на продукт, — это коэффициент активации.

После того, как кто-то зарегистрируется, какое первое действие в продукте будет значимым и покажет, что пользователь вовлечен?

В некоторых компаниях это привязано к конкретному действию или количеству действий (у Facebook было знаменитое правило «7 друзей за 7 дней»).

Этот момент обычно называют «моментом ага», моментом или действием, которое заставляет пользователя понять ценность продукта. Этот момент обычно обнаруживается как с помощью качественной обратной связи, так и с помощью количественной способности коррелировать это действие с более длительным удержанием или более высокими показателями монетизации.

4. Уровень монетизации

Как и коэффициент активации, коэффициент монетизации обычно используется в растущих компаниях, ориентированных на продукт, со многими пользователями Freemium или, по крайней мере, с несколькими возрастающими уровнями продукта.

В моделях freemium эта метрика дискретна — преодолевает ли бесплатный пользователь барьер, чтобы стать платным пользователем, или нет? В других моделях этот показатель может быть непрерывным — например, если компания взимает плату на основе использования, как AWS, это не так просто, как разграничение между «платными» и «бесплатными» учетными записями.

5. Список рассылки

На данный момент большинство компаний осознают ценность электронного маркетинга и создания надежного списка адресов электронной почты. Особенно для контент-маркетологов и блоггеров наиболее интересной макроконверсией может быть превращение читателей в подписчиков электронной почты.

Чтобы представить это значением в долларах, потребуется провести некоторую аналитическую работу, но если у вас достаточно исторических данных, вы обычно можете назначить среднее значение дохода для данного электронного письма, которое вы собираете.

6. Скорость активации электронной почты

Коэффициент активации электронной почты — недооцененный маркетинговый показатель. Просто потому, что кто-то подписывается на ваш список адресов электронной почты, не означает, что он занят или ценен.

Это похоже на версию электронного маркетинга с «высоким лидом».

Вы можете определить «активацию» здесь, как хотите, но многие будут включать что-то вроде «открыл одно из первых трех электронных писем» или какой-либо другой способ показать, что человек действительно читает и открывает ваши электронные письма.

Метрики ценности клиента

Метрики потребительской ценности обычно представляют собой непрерывные переменные, что затрудняет их использование в качестве экспериментальных метрик. Но они почти всегда максимально приближены к реальной ценности бизнеса и могут выступать в качестве запаздывающих индикаторов вашей работы.

7. Доход на одного посетителя

Доход на одного посетителя — один из лучших сводных показателей для электронной коммерции. Не все будут что-то покупать, но некоторые будут. И некоторые из тех, кто покупает, купят большое количество продукта.

Доход на посетителя представляет собой среднюю стоимость каждого посетителя веб-сайта, поэтому вы включаете в это уравнение как размер покупки, так и количество клиентов, совершивших покупку.

8. Средняя стоимость заказа

Средняя стоимость заказа вычисляет среди тех, кто купил, каков средний размер покупки. Это актуально, опять же, для сайтов электронной коммерции, где вы можете купить прямо на месте. Это также может быть ASP (средняя цена продажи) в сделках B2B.

9. Количество покупок

Этакая метрика удержания для электронной коммерции, вы можете отслеживать количество покупок за определенный период времени (месяц, квартал, год).

Это отслеживает повторные покупки и указывает как на характеристики веб-сайта, так и на маркетинговые каналы для привлечения большего количества повторных покупателей (обычно маркетинг по электронной почте и платная реклама). Это целостный показатель, который направлен не только на оптимизацию продажи, но и на вторую и третью продажу.

10. Удержание

В продуктах SaaS удержание клиентов является ключом к росту. Вы можете привлечь тысячи пользователей к регистрации, но если они не будут платить и будут продолжать платить, ваш бизнес со временем потеряет доход.

Несмотря на то, что на удержание влияют многие факторы, помимо самого продукта, эксперименты также могут помочь сдвинуть иглу на удержание. Однако отслеживание удержания в качестве экспериментального KPI становится несколько сложным для многих предприятий, поскольку это длительный цикл обратной связи.

11. Пожизненная ценность клиента

Наконец, мистическая вершина пирамиды, когда речь заходит о составных показателях: пожизненная ценность клиента.

При этом учитываются все предыдущие показатели, такие как монетизация или средняя цена продажи, удержание (как долго кто-то остается платным клиентом), а также средние коэффициенты конверсии, а затем строится составной показатель с использованием формул ценности жизненного цикла клиента для оценки того, сколько в среднем клиент стоит вашего бизнеса.

Очевидно, что это очень сложно измерить на основе каждого эксперимента, но как бизнес-KPI это важно знать.

Это позволяет определить способы повышения ценности продукта, а также показывает, насколько целесообразными могут быть определенные маркетинговые каналы и рекламные кампании.

Микроконверсии

1. Рейтинг кликов (много типов)

Рейтинг кликов — основной тип микроконверсии. Будь то от объявления до целевой страницы или от целевой страницы до запроса демо-страницы.

В электронной коммерции это часто отслеживается как рейтинг кликов на странице продукта или, возможно, даже действие «добавить в корзину» или просмотр корзины покупок. Это также может быть что-то вроде рейтинга открытия электронной почты или рейтинга кликов по электронной почте для маркетологов электронной почты. Ваш инструмент электронного маркетинга должен легко предоставлять вам эту информацию, а также возможность проводить A/B-тестирование различных версий.

Конечно, вам нужно щелкнуть в одном месте, чтобы перейти в другое, поэтому рейтинг кликов должен коррелировать с более высоким объемом покупок или конверсий.

Но если вы отслеживаете CTR исключительно в качестве ключевого показателя эффективности эксперимента, вы часто можете обыграть это с помощью копирования или обмана UX.

Как говорит Лукас Вермеер,

CTR ужасен для оптимизации бронирования отелей (например, EMK с темой «БЕСПЛАТНОЕ ПИВО» улучшит CTR, но, вероятно, снизит продажи, как только клиенты узнают, что на вашем сайте нет пива, и уж точно не бесплатного пива).

Эндрю Чен называет это сохранением намерения и утверждает, что это одна из причин, по которой результаты A/B-тестирования не переводятся в высшую строчку.

2. Клики по ссылкам

Клики по ссылкам — это просто то, на что это похоже — количество людей, которые нажимают на данную ссылку. Это еще одна метрика рейтинга кликов, но для некоторых компаний (например, партнерских) переход по исходящей ссылке является важным индикатором намерения.

Я всегда настраиваю отслеживание кликов по ссылкам на веб-сайтах, с которыми работаю, в основном потому, что это может указывать на поведение пользователей веб-сайта и возможности оптимизации.

Некоторые эксперименты также ставятся с целью изменить направление поведения пользователей (иногда сопоставляя их с макроконверсией, но иногда просто проверяя, смогут ли они привлечь больше кликов к новому модулю).

3. Воспроизведение видео

Если у вас есть видео на целевой странице, важно отслеживать, сколько людей на самом деле просматривают или воспроизводят видео.

Тем не менее, я видел эксперименты, в которых простое добавление видео увеличивает количество конверсий, но на самом деле многие посетители не просматривают само видео. Поэтому, если вы отслеживаете это, я все же рекомендую сопоставить ваши эксперименты с макроконверсией на странице.

4. Видео завершения

Сколько людей воспроизвели видео и как долго люди смотрят видео. Завершение видео или скорость завершения видео показывает, как далеко средний человек просматривает видео.

Опять же, это может быть важно, особенно на образовательных страницах, но я бы все же посоветовал вам выбрать более подходящий бизнес-KPI, например коэффициент конверсии потенциальных клиентов. Вы по-прежнему можете отслеживать завершение видео, и, вероятно, вам следует это сделать, но то, что кто-то просматривает видео целиком, не обязательно означает, что он с большей вероятностью совершит конверсию.

5. Просмотры продукта

Для многих B2B-компаний, у которых нет бесплатного или бесплатного пробного плана, ограниченный интерактивный тур по продукту — отличный способ показать посетителям, как на самом деле выглядит продукт.

Вот пример тура по продукту Pendo:

В качестве KPI вы должны рассматривать это как просмотры видео или любые виды рекламных модулей. Хотя они могут и часто коррелируют с более ориентированными на бизнес KPI, такими как коэффициент конверсии, это не всегда так. Так что отслеживайте это, но также измеряйте макроконверсию как основной KPI эксперимента.

6. Процент завершенных туров по продукту

Опять же, есть те, кто просматривает обзор продукта и сразу же отказывается от него, и эти посетители отличаются от тех, кто просматривает обзор продукта и завершает его. Возможно, существует корреляция между процентом завершенных туров по продукту и коэффициентом конверсии, но ее может и не быть.

Если вы рассматриваете тур по продукту как продукт сам по себе, то, конечно, важно видеть, сколько людей завершают его. Это хорошая UX-метрика для тура по продукту.

7. Цены на просмотры страниц

Большинство покупателей B2B посетят страницу с ценами перед покупкой, хотя это имеет значение, когда они посещают эту страницу в пути клиента. Поэтому многие маркетологи будут отслеживать кликабельность страницы с ценами как микроконверсию.

Это похоже на версию добавления в корзину, которая существует в оптимизации электронной коммерции.

Входные метрики эксперимента

Входные показатели в вашей экспериментальной программе определяются на уровне программы. Они напрямую не отслеживают доход, но являются действиями, которые коррелируют с улучшением ваших выходных показателей.

В большинстве случаев ваши входные показатели экспериментов будут либо пытаться увеличить отдачу от ваших экспериментов, либо снизить стоимость проведения экспериментов (за счет повышения эффективности).

Здесь я рассмотрю 6 входных метрик эксперимента.

1. Скорость эксперимента

Скорость эксперимента показывает, сколько экспериментов вы запускаете за определенный период времени.

Как правило, три входных показателя, которые составляют основу вашего ROI, — это количество экспериментов, которые вы проводите, какой процент из них являются успешными и каков средний выигрыш.

Проще говоря, проведение большего количества экспериментов (или большего количества вариантов в каждом эксперименте) увеличивает вероятность того, что вы выберете победителя (при условии, что это эксперименты хорошего качества).

Увеличение скорости эксперимента также играет важную роль в качестве вынуждающей функции; это поможет вам увидеть, где возникают узкие места при разработке и производстве и где вам нужны дополнительные ресурсы.

2. Окончательная ставка

Для меня нет ничего более обескураживающего, чем череда безрезультатных экспериментов. Я бы предпочел иногда видеть окончательный проигрыш, чем безрезультатный тест, потому что, по крайней мере, тогда я могу намекнуть, что то, что я тестирую, имеет значение для пользовательского опыта.

Поэтому некоторые люди начинают отслеживать окончательные показатели — количество окончательных экспериментов из всех экспериментов, которые вы проводите.

Если ваша программа находится на ранней стадии или вам кажется, что вы проводите много неубедительных экспериментов с небольшим обучением, это может быть хорошей метрикой, чтобы выбить вас из этой колеи.

3. Винрейт

Мы все хотим проводить выигрышные эксперименты. Частью эксперимента является признание того, что не все они будут победителями (если они были, вам нужно задаться вопросом, сколько низко висящих плодов вы берете на себя по сравнению с попытками новых инновационных вещей).

Win rate показывает, сколько из экспериментов, которые вы проводите, оказались успешными?

Если вы увеличиваете количество экспериментов и сохраняете процент выигрышей, ваша рентабельность инвестиций увеличивается (при условии, что проведение большего количества экспериментов будет сопряжено с предельными затратами). Если вы сохраните скорость эксперимента, но увеличите процент побед, ваша рентабельность инвестиций также увеличится.

Это ключевой рычаг повышения рентабельности эксперимента.

4. Средний прирост за победу

И, наконец, какой средний прирост выигрышных экспериментов вы проводите?

Это очень сложно контролировать, потому что если бы мы могли предсказать масштабы эксперимента, нам не нужно было бы его проводить.

Тем не менее, это полезно отслеживать, потому что, как и скорость эксперимента и процент побед, это четкий опережающий индикатор ценности вашей экспериментальной программы.

Кроме того, поощрение больших побед часто может привести к тому, что маркетологи и специалисты по продуктовому маркетингу будут мыслить нестандартно и проводить более масштабные и инновационные эксперименты.

5. Время разработки

Я разбиваю процесс эксперимента на отдельные этапы.

Обычно рабочий процесс выглядит так:

Идея эксперимента > документ эксперимента > каркас > дизайн > разработка > контроль качества > запуск теста > анализ > документирование > запуск в производство

Я устанавливаю предполагаемые сроки выполнения для каждого шага на этапе планирования, а затем вычисляю разницу между ожидаемым сроком выполнения и фактическим. Если разница слишком велика, это показывает мне, что у нас может быть узкое место в процессе.

Чаще всего это происходит на этапе проектирования или разработки.

Если вы сможете улучшить эти этапы, вы сможете увеличить пропускную способность эксперимента, что является одним из ключевых входных KPI, которые мы рассматриваем.

6. Время производства

Подобно времени разработки, время до производства измеряет этап процесса эксперимента: сколько времени требуется от анализа выигрышного эксперимента до его реализации в продукте или на вашем веб-сайте.

Этот этап часто недооценивают. Экспериментаторы отпразднуют победу, а затем перейдут к следующей, но важно, как быстро вы что-то реализуете. Во-первых, это уменьшает сожаление — время, когда вы работаете с неоптимальным вариантом.

Во-вторых, улучшение на этом этапе позволяет вам уделять все больше и больше времени разработчику настройке последующих экспериментов.

Метрики композиции и общий критерий оценки

В экспериментировании есть понятие, известное как общий критерий оценки. Можно также назвать это метрикой Полярной звезды.

Это метрика, которая учитывает метрики ограждения (т. е. метрики, которые нужно отслеживать и учитывать, которые могут означать вред или потери пользовательского опыта). Показатели Guardrail могут включать в себя такие вещи, как показатель отказов, коэффициент выхода или даже оценки отношения, такие как NPS или CSAT.

Общая оценка также иногда объединяет несколько различных выходных показателей в один показатель успеха.

Эти метрики почти никогда не являются краткосрочными индикаторами, такими как клики, а скорее отслеживают какую-то макроэкономическую цель.

Ронни Кохави привел эти примеры: «покупаемые единицы, выручка, прибыль, ожидаемая пожизненная ценность или какая-то их взвешенная комбинация».

Хотя создание общего критерия оценки желательно, обычно требуется много работы по обработке данных, особенно если ваша бизнес-модель представляет собой рынок или что-то менее простое, чем электронная коммерция (хотя даже в этом случае трудно отслеживать пожизненную ценность клиента на на основе эксперимента).

Однако более широкая точка зрения заключается в следующем: чем ближе вы сможете подойти к формированию одного всестороннего индикатора успеха — такого, который учитывает долгосрочную ценность бизнеса, а также учет показателей ограждения, — тем яснее будет ваша программа эксперимента и ее цели.

Как выбрать цели эксперимента и ключевые показатели эффективности

Хорошо, мы прошли около дюжины выходных метрик и несколько входных метрик.

Таким образом, вопрос заключается в том, как вы и ваш бизнес выбираете, на чем сосредоточиться, потому что это *это* выбор, и из этого выбора вытекают всевозможные стимулы, модели поведения и действия.

Лучший способ, который я придумал, чтобы выбрать ваши показатели, цели и ключевые показатели эффективности, — это создать дерево целей.

У Speero есть отличный пример визуализации дерева целей:

В нем они начинают с целей на уровне компании, которые включают показатели удовлетворенности клиентов. Это перетекает в цели на уровне команды, которые сосредоточены на успешной разработке функций. Затем он переходит к личным целям, которые сосредоточены на тестировании и разработке предложений по новым функциям.

Я считаю, что все командные и личные цели должны напрямую отражать и способствовать достижению целей компании. Это согласованность, и когда вы достигаете результатов, способствующих достижению целей компании, вы будете получать гораздо больше удовольствия от своей программы, потому что вы показываете реальную рентабельность инвестиций в миссию компании.

Как это будет выглядеть в вашей компании, зависит от многих факторов. Важно выполнить это упражнение и критически подумать о том, какие цели вы выберете.

Вывод

То, как вы определяете свои цели в экспериментах, влияет почти на все действия, следующие за этими целями.

Теоретически существуют тысячи метрик, которые можно реально отслеживать как на входном, так и на выходном уровне. Выбор правильных показателей не только для отслеживания, но и для оценки эффективности ваших экспериментов или вашей программы имеет решающее значение для успеха вашей программы.

Так что на самом деле я считаю, что вы должны сосредоточиться на как можно меньшем количестве показателей. Это позволяет сфокусироваться, но также дает вам время улучшить их в течение месяцев или лет.

Мне нравится делить свои цели на две категории: входные и выходные показатели. Выходные показатели — это то, по чему я оцениваю свои индивидуальные эксперименты или результаты своей экспериментальной программы. Это то, о чем я сообщаю команде и руководителям.

Входные показатели помогают мне построить более эффективную программу. Это то, по чему я оцениваю свои собственные усилия и усилия моей команды.

Как вы определяете показатели экспериментов для своей программы? Вы фокусируетесь на входных показателях или только на выходах и результатах?