Итак, у Вас есть бизнес. И даже если Вы не владелец, Вы можете попробовать сделать этот анализ. Только прошу, не показывайте свои выводы шефу. Гораздо более разумно будет предложить ему сделать этот анализ самостоятельно. На мой взгляд, очень важно уважительно относиться к руководству.
Вам придется вооружиться листочком бумаги и ручкой, чтобы делать пометки.
В любом бизнесе есть функции, которые должны тем или иным образом работать. Это как самолет, если в нем чего-то нет, то он не полетит, или с большой вероятностью разобьется. Также на любой бизнес можно посмотреть, как на поток различных частиц, где в разных местах с ними происходят разные изменения. Или как на систему труб, где есть более широкие и более узкие места. И конечный результат Вы получаете не по самому широкому месту (или, другими словами, лучшему в Вашем бизнесе участку), а по самому узкому.
В результате этого анализа Вы можете найти это узкое место и, подправив его, получить больший результат для всего бизнеса. Конечно же, нет никакой необходимости после получения результата бегать и рассказывать об этом конкурентам. И уж точно не имеет смысла рассказывать об этом бизнес-консультантам, а то они точно проболтаются Вашим конкурентам. Но зато Вы сможете проверить их грамотность при случае.
ТЕСТ — ТЫ БИЗНЕСМЕН ИЛИ НАЕМНЫЙ РАБОЧИЙ???
Существует достаточно модная сейчас система сбалансированных показателей. В этой системе есть несколько разумных моментов, но есть много лишнего и, на мой взгляд, не правильно в отдельных моментах расставлены значимости. Ну и ее внедрение стоит каких-то денег. Перед тем, как чем-то пользоваться, у меня есть хорошее правило, спросить у тех, кто это применяет, во сколько раз увеличился доход после внедрения этого. И если я не получаю ответ на этот вопрос, то это уже сэкономленное время и деньги.
Прямо сейчас Вам придется ответить на несколько простых вопросов:
I область
Увеличивается ли в Вашей компании количество персонала?
Да +
Нет –
Не знаю –
Увеличивается ли в Вашей компании объем продаж услуг или товаров?
Да +
Нет –
Не знаю –
Есть ли у Вас в компании вывешенная на видном месте организационная схема предприятия?
Да +
Нет –
(Если не на видном, то значит нет)
Существует ли в Вашей компании какая-то принятая система документооборота и коммуникаций между персоналом?
Да +
Нет –
(Нет, если большая путаница в документах, тяжело найти, где что лежит)
Есть ли у Вас известная система поощрений и взысканий в компании?
Да +
Нет –
(Нет, если поощрения и взыскания меняются от случая к случаю)
II область
Есть ли у Вас база данных с контактами клиентов, купивших хотя бы один раз что-либо в Вашей компании?
Да +
Нет –
Увеличивается ли объем этой базы данных (имеются в виду точные данные)?
Да +
Нет –
Увеличивается ли количество письменного либо устного общения с этими клиентами?
Да +
Нет –
Увеличивается ли объем вашей рекламы? (имеется в виду количество исходящих сообщений, а не затраченных денег)
Как оценить стоимость компании. №6 Оценка готового бизнеса перед покупкой.
Да +
Нет –
Увеличивается ли чистый доход Вашей компании?
Да +
Нет –
III область
Увеличивается ли сумма прихода денежных средств в Вашу компанию?
Да +
Нет –
Увеличивается ли сумма расходов в Вашей компании?
Да +
Нет –
Соотношение Ваших активов (сюда входят деньги на счетах, товар, имущество и долги по отношению к Вам) к Вашим пассивам (а сюда входят все Ваши обязательства по аренде, зарплате, товарные и денежные кредиты, обязательства по поставке за оплаченный товар или услугу и т. д.)
Увеличивается +
Уменьшается –
Никак не могу посчитать –
Есть ли у Вас система накопления резервов?
Да +
Нет –
Резервы увеличиваются?
Да +
Нет –
IV область
Затраты на производство вашей услуги или товара
Увеличиваются –
Уменьшаются +
Скорость изготовления или предоставления услуги (для торговых компаний скорость оборота склада)
Увеличивается +
Уменьшается –
Количество предоставленных или проданных единиц товаров или услуг
Увеличивается +
Уменьшается –
Производство Вашего продукта или предоставление услуги становится более равномерным
Да +
Нет –
Персонал, предоставляющий Вашу услугу или производящий продукт Вашей компании
Загружен +
Недогружен –
Перегружен –
V область
Количество разных успешных стандартов в Вашей компании
Увеличивается +
Уменьшается –
Не существует –
Количество недовольных Вашей услугой или товаром
Увеличивается –
Уменьшается +
Доход компании на одного сотрудника
Увеличивается +
Уменьшается –
(Если не знаете — посчитайте, или поставьте минус)
Количество новых клиентов, пришедших к Вам по рекомендации
Увеличивается +
Уменьшается –
Есть ли какая-либо система обучения в Вашей компании? Количество прошедших обучение
Увеличивается +
Уменьшается –
VI область
Количество новых клиентов в Вашей компании
Увеличивается +
Уменьшается –
Ваша компания расширяется?
Да +
Нет –
О Вашей компании за последнее время узнало большее количество человек
Да +
Нет –
В Вашей компании более приятно находиться, чем ранее?
Да +
Нет –
Есть ли у Вас план или видение того, как Вы можете еще расширить свою деятельность?
Да +
Нет –
Теперь Вы должны посмотреть и найти те области, где у Вас больше всего минусов и начать с приведения в порядок именно этих областей. Если у Вас две области с одинаковым количеством минусов, то начинайте просто по порядку. Сначала приведете в порядок одну, потом другую.
Да, чуть не забыл самое главное, к чему относится каждая из этих областей.
- I — работа с персоналом и построение организации;
- II — маркетинг, реклама, продажи;
- III — финансы;
- IV — производство (Здесь имеется в виду то, как Вы добиваетесь конечного результата своей деятельности. У магазина это может быть отдел снабжения и раскладка товаров на прилавках. У юристов это может быть непосредственное создание бумаг для клиентов и т. д.);
- V — качество продукции и квалификация персонала (Более обученные люди могут производить быстрее и качественнее);
- VI — расширение компании или отдел развития.
Независимо от того, какого размера компания, все эти функции должны выполняться в той или иной мере и улучшаться. Этот способ разбивания на отдельные функции был разработан классиком американского менеджмента Л. Рон Хаббардом и используется в более чем 140 тысячах различных компаний в мире.
Владимир Кусакин
По материалам Klerk.ru
Источник: hr-portal.ru
Как провести байесовский A/B-тест правильно: подробное руководство | Глава 8
Копирайтер, UX-писатель, редактор и контент-стратег. Увлекается переводами в tech-тематиках. Помогает собрать гибкую контент-стратегию, улучшить коммуникации с пользователями и проработать tone of voice. Работала с UsabilityLab и «iSpring».
Апр 21, 2022 · 12 мин читать
(Перед вами перевод бесплатного курса по A/B тестированию от компании Dynamic Yield. Если вы здесь впервые, то лучше начните сначала)
Авторы английской версии: Дэвид Стейнберг, профессор, KPA Group; Рон Кенет, профессор, KPA Group
A/B тестирование — это отличный способ сравнения нескольких возможных модификаций сайта или несколько альтернативных опытов взаимодействия с цифровым продуктом/сервисом. Мы запускаем две вариации визуала/опыта параллельно и случайным образом распределяем посетителей между ними — в результате чего получаем честное сравнение эффективности этих вариаций.
Получить данные тестирования мало — вам понадобятся надежные и информативные способы обобщить эти данные и сделать правильные выводы. Байесовский подход к статистике отлично справляется с этой задачей.
В этой статье мы поговорим о ключевых идеях, которые лежат в основе байесовской статистики, и о том, как они соотносятся с бизнес-решениями, которые мы принимаем по итогам тестирования.
Сначала мы продемонстрируем суть байесовского подхода к анализу данных, а потом покажем, как анализ данных помогает находить понятные ответы на подобные вопросы:
- Какая вариация обеспечивает лучшие результаты?
- Насколько эти результаты лучше?
- Можем ли мы быть уверены в своих выводах?
- Что если нужно протестировать более двух вариаций?
- Какой объем выборки нужен для проведения байесовского A/B теста?
- Можно ли закончить тест раньше, если результаты кажутся очевидными?
Что такое байесовская статистика?
Байесовская статистика носит имя британского математика и священника Томаса Байеса, жившего в 18 веке и доказавшего частный случай теоремы, сейчас называемой теоремой Байеса. Ключевой принцип байесовской статистики состоит в том, что язык вероятностей можно использовать для описания любых вещей и явлений, о которых мы ничего не знаем и хотим узнать из данных.
Сейчас мы продемонстрируем почему это идеальный язык для обсуждения важных вопросов, связанных с принятием ключевых бизнес-решений.
Когда вы проводите A/B тест, ваша основная цель — выяснить, какая из вариаций работает эффективнее. Чтобы это понять, вы можете сравнить результаты тестирования, используя один из двух методов (частотный или байесовский). Байесовский анализ начинается с изучения KPI каждой вариации.
Данные дают нам определенную информацию об эффективности вариаций, но некоторая неопределенность всегда остается. Эту неопределенность мы описываем через распределение вероятностей. Мы можем смоделировать результаты распределения, чтобы понять, как это выглядит.
Гистограмма на рисунке 1 — это типичная картина, которую вы можете получить в ходе анализа. Она показывает статистическое распределение разницы в CTR (click-through rate) между A и B. Большая часть кривой находится справа от 0, что является доказательством того, что у A показатель CTR выше. Часть графика, лежащая по правую сторону от 0 является отличной иллюстрацией того, что называется Probability to Be Best (P2BB) — вероятность того, что одна опция лучше другой. На рисунке 1, показатель P2BB составляет 0,699 — в пользу вариации А.
Если у вас три или более вариаций, высчитать вероятность того, что каждая опция лучше остальных (P2BB) тоже просто: вероятность в этом случае будет поделена на 3 части части — по одной для каждого варианта.
Как работает байесовский анализ?
Чтобы запустить байесовский движок, вам потребуется априорное распределение вероятностей, которое описывает ваше представление о KPI до получения каких-либо данных. Далее это априорное распределение комбинируется с данными теста, в результате чего получается апостериорное распределение для каждой вариации. То есть на рисунке 1 мы видим апостериорное распределение вероятностей для разницы между вариациями A и B — оно иллюстрирует текущую картину, основанную на полученных данных.
Априорное распределение нужно, чтобы процесс заработал, но при большом объеме данных — который присутствует почти всегда в A/B тестах — апостериорное распределение сразу начинает доминировать и априорное распределение практически “забывается”; поэтому не нужно слишком заморачиваться с выбором априорных показателей. Можно работать с более-менее стандартными показателями — на качество анализа это не повлияет.
Но можно ли заранее обозначить априорное распределение и сделать какие-то предположения? Долгое время это было камнем преткновения между представителями двух статистических лагерей, поэтому давайте сравним байесовский подход с “классическим” частотным подходом, который вы скорее всего изучали в рамках вводного курса по статистике. В классическом подходе, либо А лучше B, либо B лучше А, либо А и B идентичны. Вопрос “какова вероятность, что B лучше” вообще не стоит: ответить на него нельзя, более того, и сам вопрос нельзя задавать!
Вероятности используются и в классическом подходе — но только для описания экспериментальных данных, а не для обобщения информации, которой мы располагаем по KPI. Поэтому вы не сможете сделать выводы типа “В покажет лучшие результаты, чем A с вероятностью 98%”.
В большинстве A/B тестов вы будете получать огромные объемы данных. Таким образом, априорные предположения, которые мы делаем на старте — даже если они в какой-то мере противоречивы, быстро перекроются реальными данными, которые и лягут в основу будущих результатов. Поэтому мы считаем, что выводы сделанные в ходе байесовского анализа больше подходят для принятия бизнес-решений.
В этой статье можно прочитать про разные точки зрения относительно сравнения байесовского и частотного подходов к A/B тестированию.
Как распределять трафик между вариациями?
По большому счету, вам важно убедиться, что посетители, которые увидят вариацию A максимально схожи с посетителями, которые увидят вариацию B. Лучший способ в этом убедиться (согласно научным работам, в том числе работам статистика Рональда Фишера 100-летней давности) — это выбор правильного распределения трафика.
Так что в первую очередь надо прикинуть, какие у вас вводные. Что вы хотите сравнить? Вам понадобится механизм распределения трафика — фреймворк, который будет определять, что кому показывать.
Когда посетитель приходит на ваш сайт, обычно он сразу видит некий лендинг. Но когда вы проводите тестирование, вам нужно сначала решить, на какую версию лендинга направлять того или иного пользователя. Вы можете (и должны) это контролировать, случайным образом распределяя посетителей по группа. Только так можно быть уверенным, что сравнение будет честным.
Чтобы проверить релевантность данных, которые вы получаете в ходе тестирования, нужно убедиться, что распределение трафика действительно происходит случайным образом.
К примеру, если версия А показывается молодым людям, а версия B — людям в возрасте, вы никак не узнаете, чем объясняется разница в KPI: дизайном страницы или спецификой восприятия пользователями разного возраста. В статистике это называется “вмешивающимся факторов” (confounding).
Таким образом, случайное распределение трафика позволяет установить некоторую причинно-следственную связь между поведением пользователей и тем, что влияет на это поведение.
Сколько времени нужно выделить на проведение A/B теста?
Принимая решения, вы должны учитывать разные возможные сценарии — и в том числе “что может пойти не так”. Нужно, чтобы тест был чувствительным к возможным багам. Баги, в свою очередь, часто бывают связаны именно со случайным распределением посетителей в контексте времени. В частности, естественные временные тренды могут значительно повлиять на результаты тестирования.
Например, если в ваших есть недельные тренды, нужно проводить A/B тестирование как минимум на протяжении двух недель, чтобы убедиться, что механизм тестирования успешно их обрабатывает. Если у вас есть суточные тренды (не недельные), вы можете позволить себе более краткосрочные эксперименты. Также бывают ситуации, когда из-за определенных событий случаются спонтанные скачки трафика (как в плюс, так и в минус) или меняется состав посетителей, что влияет на KPI. Прежде чем принимать какие-либо решения, убедитесь, что на результаты не повлияло то или иное эпизодическое событие.
Если вы примете во внимание все факторы, изложенные выше, то сможете точно прикинуть минимальную продолжительность эксперимента, при которой каждая из групп при A/B тестировании будет репрезентативной.
Насколько большая выборка нужна для проведения байесовского тестирования?
Размер выборки при байесовском тестировании напрямую влияет на то, насколько узкой будет ваша финальная функция распределения вероятности. Допустим, вам нужна функция распределения вероятности, чтобы выявить разницу в эффективности двух вариаций, как показано на рис. 1. Скорее всего, вы уже примерно представляете, какая разница будет существенна для вашего бизнеса — и, следовательно, вы понимаете, насколько узкой должны быть финальная функция вероятности: ведь чем плотнее интервал — тем больше вы знаете.
Также важно отметить, что если люди, принявшие участие в тестировании, принадлежат к какой-то одной подгруппе пользователей (даже если они были случайно отобраны таким образом), то результаты такого тестирования нельзя экстраполировать на всех пользователей — какой бы плотной ни была при этом функция распределения. Так что вам нужно работать по обоим фронтам: во-первых, убедиться, что у вас достаточно данных, чтобы функция распределения получилась плотной (следовательно более информативной), а во-вторых — оценить, насколько репрезентативны ваши данные относительно всей совокупности пользователей.
Оба эти аспекта важны, и именно они определяют, насколько масштабным будет ваш эксперимент. Скажем, если на вашем сайте огромный трафик, вы быстро достигнете нужного объема выборки, но насколько репрезентативной будет эта выборка — сказать сложно. Может сложиться и обратная ситуация: к тому времени, как выборка достигнет нужного объема, вы пройдете несколько временных циклов — и, следовательно, охватите и обработаете возможные эпизодические скачки трафика. Держите в голове оба эти “фронта” и постоянно ищите баланс между ними.
Где взять информацию о наиболее вероятных значениях KPI? Если одна из ваших вариаций уже работает на сайте, можно взять данные за прошлые периоды для составления априорного распределения. Если обе вариации новые, вам нужно прикинуть, какой эффект они могут оказать на KPI? Для тестов, в которых участвуют более двух вариаций, работает тот же принцип и нужны те же данные.
Входные данные, необходимые для расчета нужного объема выборки, зависят от природы ваших KPI:
- Для бинарных KPI (коэффициент кликабельности (CTR) или доля установок), укажите ожидаемые значения этих показателей для каждой версии
- Если вас интересуют только непрерывные KPI (например, доход с конверсии), вам потребуется указать типичные средние конверсии и количество участников в каждой экспериментальной группе
- Для смешанных KPI (например, доход с пользователя) вам потребуется среднее, количество вариантов, а также оценка доли успешных конверсий
Есть достаточно простые формулы, которые можно использовать для определения объема выборки. Кроме того, здорово помогают калькуляторы объема выборки для A/B тестов
Что если у меня более двух вариаций в тестировании?
В ситуации, когда вы хотите протестировать более двух вариаций, применимы те же формулы для вычисления нужного объема выборки. Но в этом случае важно определиться, какую цель мы преследуем: (1) выявить лучшую вариацию или (2) показать, что текущая вариацию не лучшая.
Чем отличается вторая цель?
Допустим у вас есть две новые вариации, которые вы хотите сравнить с текущей. Вы предполагаете, что каждая из новых вариаций может показать примерно одинаковые KPI, и при этом обе будут эффективнее, чем текущая версия. В этом случае, чтобы выяснить какая из этих новых версий лучше, вам понадобится довольно большой объем выборки (поскольку версии схожи по эффективности). А просто “списать” текущую версию в пользу одной из новых можно при помощи куда менее масштабного теста.
Рассмотрим на примере:
CTR текущей страницы составляет 1%. Вы уверены, что новая версия поможет увеличить CTR до 1,2%. Предполагаемая разница в KPI — 0,2%. Вы решаете провести A/B тест, чтобы выявить истинную разницу с более высокой степенью чувствительности. В этом случае мы стремимся к такой чувствительности эксперимента, при которой 95% апостериорного распределения будет находиться в интервале, который равен величине предполагаемой разницы.
В нашем примере это означает, что мы будем сужать функцию распределения, пока 95% этой функции не станут находиться в интервале 0,002. Чтобы добиться такой точности, нам нужна выборка в 83 575 посетителей на каждой странице.
А что если даже 10%-ное увеличение CTR (то есть до 1,1%) является значительным? Тогда интервал, в котором должно находиться 95% функции распределения сужается еще сильнее — до 0,1%. В этом случае каждую страницу должны посетить не менее 319 290 человек.
Теперь давайте рассмотрим пример того, как оценить доход на посетителя:
Чаще всего львиная доля посетителей сайта вообще не приносят никакого дохода (согласно принципу Парето), а среди тех посетителей, кто платит, как правило есть несколько крупных игроков, чьи чеки искажают среднее значение, а также стандартное отклонение. Итак, на текущей версии страницы конверсия составляет 1%; в среднем сконвертированный посетитель приносит 20$; стандартное отклонение по сумме покупки составляет 25$. Это означает, что средний доход на посетителя составляет 0,20$. Команда маркетинга уверена, что с новой версии страницы будут покупать чаще, и конверсия увеличится до 1,2%, но доля крупных игроков уменьшится — так что средняя конверсия будет приносить 19$, а стандартное отклонение уменьшится до 22$.
В результате средний доход с конверсии вырастет до 0,228$ — то есть ожидается рост в 0.028$ на посетителя. A/B тест должен быть достаточно масштабным, чтобы сузить 95%-ный доверительный интервал, характеризующий разницы в среднем доходе с посетителя, до предполагаемой разницы — то есть 0,028$. Чтобы добиться такого уровня точности, нам нужно привлечь не менее 397,830 посетителей на каждую вариацию страницы.
Что если нам нужны более надежные гарантии, что мы выявим значительную разницу?
В самом начале мы обозначили, что подбираем размер выборки таким образом, чтобы добиться нужной нам ширины 95%-ного доверительного интервала. Повысить надежность эксперимента просто: достаточно расширить границы доверительного интервала до 98 или 99%. Конечно, дополнительная точность достигается ценой увеличения объема выборки.
Можно ли завершить тест пораньше?
Вероятность, что вариация A лучше (или хуже) вариации B — это естественная метрика, которую можно отслеживать по мере проведения тестирования. Если показатель P2BB (вероятность, что одна вариация лучше другой) явно сигнализирует о том, что одна из версий эффективнее, это может быть поводом для ранней остановки эксперимента. Однако, останавливать эксперимент раньше времени нужно с умом.
Во-первых, нельзя с уверенностью утверждать, что байесовские выводы не подвержены проблеме подглядывания. В ходе эксперимента показатель P2BB так или иначе будет плавать. Особенно это относится к тем случаям, когда нет значительной разницы в итоговых показателях вариаций — например, при A/A тестировании. В этом случае, по мере того как в эксперименте задействуется все больше данных, P2BB будет то повышаться, то снижаться. То, что в какой-то момент времени показатель P2BB превысит пороговое значение в 95%, совсем не гарантирует, что он останется на том же уровне и дальше — в рамках запланированного временного интервала.
Во-вторых, остановка эксперимента до того, как пройдет как минимум один полный временной цикл, это всегда риск. Вариация B, может оказаться более удачной для тех людей, кто зашел на сайт в начале временного цикла, но менее удачной для более поздних посетителей. Следовательно, останавливая эксперимент до того завершения полного временного цикла, вы рискуете получить искаженные данные.
Если вы очень хотите остановить эксперимент раньше, продумайте более строгие критерии, достижение которых вас устроит. К примеру, если вы видите, что вероятность достигает предельных значений (например, выше 0.999 или ниже 0.001), можете смело останавливать эксперимент и принимать решение. Если вариации A и B действительно значительно отличаются, можно ожидать, что эти пороговые значения будут достигнуты относительно быстро.
И наконец, хочется еще раз подчеркнуть, как важно охватить все временные тренды в рамках эксперимента. Конечно, вы можете принять решение основываясь на показателях короткого временного окна — но, поступая так, вы игнорируете возможные колебания результатов, которые могут проявиться позже. Например, бывает так, что посетители, которые заходят на сайт по будням, предпочитают вариацию A, но в выходные картина полностью меняется. Условно говоря, начать эксперимент во вторник, а в среду уже принимать решение — не лучшая идея.
Источник: ux-journal.ru
А/Б тестирование — практическое руководство: что такое, в чем ценность и как провести | Глава 1
Перед вами — гайд по A/B тестированию, который расскажет, в чем разница между A/B тестированием и мультивариативным тестированием, как проводить тесты структурировано и последовательно, и как понять, какой эксперимент стоит выбрать, чтобы выжать максимум.
Копирайтер, UX-писатель, редактор и контент-стратег. Увлекается переводами в tech-тематиках. Помогает собрать гибкую контент-стратегию, улучшить коммуникации с пользователями и проработать tone of voice. Работала с UsabilityLab и «iSpring».
Апр 21, 2022 · 9 мин читать
Авторы английской версии: Янив Навот, CMO, Dynamic Yield; Дэвид Стейнберг, профессор, KPA Group; Рон Кенет, профессор, KPA Group; Идан Михаэли, директор по Data Science в Hippo Insurance; Гиди Виго, старший директор по продуктам, Dynamic Yield; Джон Пилер, директор по разработке корпоративных решений в Dynamic Yield; Алекс Фитцжеральд, Со-основатель и CMO, Brave; Шана Пилевски, директор по маркетингу, Dynamic Yield
А/В-тестирование — это метод сравнения двух версий страницы или приложения, который помогает понять, какая из них работает лучше в контексте какой-то конкретной задачи. А/В-тест — один из самых популярных методов повышения результативности цифровых продуктов: сайтов, мобильных приложений, SaaS-продуктов, рассылок и других т.д.
Перед вами перевод «A/B Testing #128640;
Джефф Безос однажды сказал: «Успех Amazon зависит от того, сколько экспериментов мы сможем провести в год, в месяц, в неделю, в день».
В технологическом блоге Netflix в апреле 2016 года прозвучала такая фраза: «Благодаря эмпирическому подходу к работе, мы точно знаем, что изменения в продукте продиктованы не вкусами и мнениями самых авторитетных сотрудников компании, а объективными данными. То есть наши зрители сами подсказывают нам, что им нравится».
И Марк Цукерберг в одном из интервью признался, что успех Fb кроется в их уникальной системе тестирования, чем предприниматель очень гордится: «В любую секунду в мире работает не одна версия Fb, а порядка 10,000».
Что такое A/B тест и в чем его ценность для развития цирфорового продукта?
В классическом A/B тесте, мы, первым делом, определяем, что будем тестировать и какова наша задача. Далее мы создаем одну или несколько вариаций исходного веб-элемента (еще его называют контрольной группой или точкой отсчета). Далее, мы делим трафик пополам (в случайном порядке: то есть распределяем пользователей согласно некой вероятности), и, наконец, собираем данные (метрики) о том, как работает каждая версия страницы. Спустя какое-то время, мы анализируем данные и оставляем ту версию, которая отработала лучше, а менее удачную — выключаем.
Очень важно проводить тесты грамотно: иначе вы не только не получите осмысленные и полезные результаты, но и можете выбрать ошибочный путь. В целом, контролируемые эксперименты могут помочь в решении следующих задач и дают следующую ценность:
- Разобраться с недочетами UX и популярными барьерами для клиентов (pain points)
- Повысить эффективность существующего трафика (поднять конверсию (conversions)и выручку (revenue), оптимизировать затраты на привлечение клиентов (customer acquisition costs))
- Поднять вовлеченность (снизить показатель отказов (bounce rate), повысить показатель кликабельности (click-through rate) и т.д.)
Нужно помнить, что когда мы отдаем предпочтение тому или иному варианту, мы по сути масштабируем результаты, полученные к этому моменту, на всю аудиторию потенциальных пользователей. Это настоящий прыжок веры, и каждое такое действие должно быть обосновано. Внедряя решения без веских оснований, мы обязательно сделаем хоть один неверный шаг — что негативно скажется на продукте в долгосрочной перспективе. Процесс сбора таких обоснований мы называем тестированием гипотез, а искомые обоснования —статистической значимостью.
Вот несколько примеров A/B тестов:
- Тестирование разных типов сортировки в меню навигации сайта (как в этом примере крупногонемецкого продавца электроники)
- Тестирование и оптимизация лендингов (как в этом примере ведущей европейской компании по защите авиапассажиров)
- Тестирование маркетинговых сообщений: например, рассылок или баннеров (как в этом примере международного розничного продавца натуральной косметики)
Как рождается A/B тест: Изучаем ситуацию и формулируем гипотезу
В основе любого A/B теста лежит проблема (ситуация), которую нам надо решить (разрешить) или некое поведение пользователя, которое нам нужно изменить или, наоборот, закрепить. Выявив проблему или задачу, маркетолог формулирует гипотезу — обоснованное предположение, которое либо подтверждается, либо опровергается в результате эксперимента.
Пример продуктовой гипотезы: Если мы добавим значок с социальным доказательством на страницу с описанием продукта, посетители узнают о популярности нашего продукта, и количество добавлений в корзину вырастет на 10%.
Разбор гипотезы: В этом случае, когда мы выявили проблему (низкий показатель добавлений в корзину, к примеру) и сформулировали гипотезу (решение: отображение значка с социальным доказательством стимулирует пользователей добавлять товар в корзину чаще), можно приступать к тестированию на сайте.
Классический подход к A/B тестированию: как организуется эксперимент и распределяется трафик между версиями
В простом A/B тесте трафик распределяется между двумя версиями. Одна из версий — с оригинальным (текущим) контентом и дизайном — считается контрольной. Вторая версия — это вариация. Изменения могут быть разными: к примеру, можно протестировать разные варианты заголовка, кнопки call-to-action, лейаут, дизайн и т.п.
В классическом эксперименте на уровне одной страницы, нам даже не нужно делать два URL для тестирования. Большинство решений для A/B тестирования позволяют динамически менять контент, лейаут и дизайн страницы.
Однако, если вы хотите включить в тестирование 2+ набора страниц, тогда нужно проводить сплит тестирование и использовать несколько URL.
В каких случаях проводить сплит тестирование
Сплит тестирование (иногда его называют многостраничным тестированием) в целом похоже на A/B тестирование, но позволяет проводить эксперименты с использованием отдельного URL для каждой вариации. Другими словами, сплит тестирование можно провести между двумя существующими URL-адресами, что особенно полезно, если у вас динамический контент.
Допустим, у вас уже есть два страницы, и вы хотите узнать, какая из них работает лучше. К примеру, вы запускаете рассылку и у вас есть две разные версии потенциального лендинга. Проведите сплит тестирование — и поймете, какой лендинг показывает лучшие результаты в рамках этой кампании.
В A/B тест можно включить и больше двух вариаций
Если вы хотите протестировать более двух вариаций, проведите A/B/n тест. С его помощью можно сравнить эффективность трех или более вариаций, вместо того, чтобы тестировать каждую вариацию относительно одной и той же контрольной вариации (то есть проводить цепочку независимых A/B тестов). Если на сайте высокий трафик, при помощи A/B/n тестирования можно проверять множество вариаций разом, тем самым сокращая время тестирования и получая результаты быстрее.
Однако я не рекомендую вносить слишком много изменений в вариацию. Если вы внесете только самые важные и значимые изменения, по результатам эксперимента вам будет проще понять возможные причинно-следственные связи. А если вы хотите протестировать сразу ряд изменений, проведите лучше мультивариативный тест.
Что такое мультивариативное тестирование
Мультивариативные тесты (иногда их называют мультивариантными тестами) позволяют протестировать изменения сразу в нескольких разделах одной страницы. Чтобы понять принцип, проведите мультивариативный тест на одном из своих лендингов, а потому поменяйте на нем пару элементов. В первой вариации замените главное фото на странице формой для обратной связи. Во второй вариации, добавьте на страницу видео. Теперь система сгенерирует на базе ваших изменений еще одну возможную вариацию — с видео И формой обратной связи.
Всего получится 2 x 2 = 4 вариации страницы
V1 — контрольная версия (без формы обратной связи и без видео)
V2 — вариация с формой обратной связи
V3 — вариация с видео
V4 — вариация с формой обратной связи + видео
Поскольку в ходе мультивариативного тестирования проверяются все возможные комбинации, не рекомендуется добавлять много вариантов — если только у вас не сайт с очень и очень высоким трафиком. Если проводить мультивариативное тестирование с множеством переменных на сайте с низким трафиком, есть риск получить недостаточно значимые результаты, по которым не получится сделать никакие весомые выводы. Для такого вида тестирования нужно как минимум несколько тысяч посещений в месяц.
Какой тест применить в зависимости от ситуации
A/B тест поможет найти ответы вопросы типа: “на какую из этих двух вариаций страницы посетители реагируют лучше?”
А мультивариантные тесты помогут ответить такие вопросы:
- Посетители лучше реагируют на видео или на форму обратной связи?
- Или лучше работает только форма обратной связи, без видео?
- Или лучше оставить видео и убрать форму обратной связи?
Как оценить эффективность платформы для A/B тестирования
Чтобы оценить эффективность платформы для A/B тестирования, можно провести A/A тест. Для этого вам нужно создать две одинаковые версии страницы и запустить A/B тест. В идеале, система должна выдать ответ, что обе вариации показали примерно одинаковые результаты. Подробнее про A/A тесты читайте здесь.
Вывод и рекомендации: разбираем путь к результативным A/B тестам
«Я не провалил тест, я просто нашел 100 способов выполнить его неправильно». — Бенджамин Франклин
При проведении A/B тестирования очень важна четкая и адекватная методология. Только в этом случае мы можем доверять результатам теста и принимать эффективные решения на их основании.
A/B тестирование дает нам фреймворк, который позволяет сравнить реакцию посетителей сайта на различные вариации страниц (и паттерны движения к цели), и если одна из вариаций работает лучше — установить статистическую значимость результата и в какой-то мере причинно-следственную связь.
Источник: ux-journal.ru