A/B-тесты — отличный способ проверить маркетинговые гипотезы и повысить продажи. Но не все знают, как правильно пользоваться этим инструментом. Разбираемся, что такое A/B-тесты и какие задачи в бизнесе они помогут решить.
Что такое A/B-тестирование?
А/Б-тестирование (AB testing) — метод исследования для оценки эффективности двух вариантов одного элемента. В маркетинге это может быть кнопка на странице сайта, рассылка, заголовки и любые другие детали. Суть в том, чтобы на протяжении определенного времени показывать их двум сегментам аудитории. Сравнение 3 и более элементов — это уже сплит-тест (с англ. «split testing» — «раздельное тестирование»).
Допустим, у вас есть интернет-магазин. Кнопка «купить» выделена красным цветом, но вы считаете, что это больше отпугивает, чем призывает купить продукт. Как узнать, действительно ли изменение цвета кнопки повлияет на конверсию и продажи?
А вот так: разделить аудиторию на контрольную и тестовую группы, создать две разные страницы и проверить опытным путем. Пользователи из каждой группы будут взаимодействовать с разными версиями сайта. В итоге конверсия у одной из кнопок окажется выше — исследование прошло успешно и можно вносить на сайт изменения.
Бизнес бастау 2023 года,апрель, ответы на итоговый тест. Бизнес бастау, тест жауаптары, сәуір, 23ж
Почему нельзя просто изменить цвет кнопки на любой другой?
Можно. Но тогда вы не сможете определить, как это изменение повлияло на оптимизацию воронки. Например, вам не нравится зеленый цвет, поэтому вы решили поменять на сайте зеленый баннер на синий. В следующем месяце продаж было больше на 5%, но гарантии, что на это повлиял цвет баннера, нет. Возможно, контекстная реклама так хорошо сработала или сезонный фактор сыграл роль.
А с A/B-тестированием вы получите точный результат.
Для чего нужно проводить A/B-тест
Маркетинг — это процесс постоянных улучшений. Нельзя один раз создать сайт/рассылку/объявление и считать, что они сами будут приносить заявки. Клиенты с каждым годом всё более придирчивы, да и конкуренты не дремлют, поэтому необходимо непрерывно строить гипотезы и тестировать их, чтобы улучшать пользовательский опыт. И здесь, как по Дарвину, выживет не самый сильный, а тот, кто лучше приспособится.
Вот несколько примеров, что можно улучшить с помощью A/B-тестов.
Улучшить метрики
Устаревший дизайн и неинтересный контент — основные причины отказов и низкой кликабельности. Таких проблем можно избежать, если постоянно тестировать элементы и подбирать оптимальные решения для каждой проблемы. Метрики прежде всего важны для маркетологов.
Показатель отказов — это процент пользователей, которые ушли с сайта почти сразу (как правило, в течение 15 секунд), не сделав ни одного целевого действия или клика.
Кликабельность, или CTR, — основная метрика в маркетинге, отношение количества кликов к показам.
Улучшить юзабилити
Юзабилити — это удобство пользования сайтом. Клиенты не должны искать корзину или форму подписки на рассылку. Полезные кнопки нужно держать на виду, иначе пользователи будут уходить без покупок. Даже если сайт удобен, поверьте — всегда есть, что улучшать. A/B-тесты помогают UX-дизайнерам оптимизировать оформление, сделать его максимально удобным и понятным.
Как легко протестировать вашу бизнес идею? Тестирование идей
Увеличить конверсию с минимальными рисками
Конверсии одинаково важны как для маркетологов, так и для менеджеров продаж. Сплит-тесты помогают проверить, как баннер или кнопка влияют на конверсию и протестировать разные варианты оформления. И всё это — с минимальными затратами и почти без потерь, ведь половина аудитории по-прежнему видит старую версию.
Есть много успешных кейсов, когда A/B-тесты помогали компаниям добиться желаемых результатов и увеличить продажи. Например, американская IT-компания WorkZone более чем на треть увеличила количество лидов, благодаря отзывам. Изменения сначала протестировали на небольшой группе, а потом уже внесли на сайт.
Что можно тестировать?
Если коротко — почти всё. На сайте это:
- CTA, или призыв к действию, — форма, цвет кнопки, текст;
- дизайн и расположение форм обратной связи;
- title и description — метописания страниц сайта в поисковой выдаче;
- текст и иллюстрации.
В контекстной рекламе:
- заголовок,
- быстрые ссылки,
- текст объявления,
- креативы.
- тема и прехедер письма,
- обращение к подписчикам,
- креативы и дизайн,
- форматы рассылок.
Как проводить тестирование: 5 шагов к успеху
A/B-тесты могут стать универсальным инструментом, главное — провести его правильно. На примере покажем, каких правил стоит придерживаться, как строить гипотезы и анализировать результаты.
Представьте, что вы маркетолог строительной компании и заметили, что конверсия в подписку на рассылку на сайте всего 15%. На ваш взгляд, ее можно повысить, если изменить дизайн формы. Проведем тестирование?
Шаг 1. Определяем цель и метрики
Проведение A/B-теста нужно начинать с определения цели и метрик. Иначе будет трудно оценить результаты. Метриками могут быть любые количественные показатели, которые используются в маркетинге — средний чек, количество заказов, кликабельность.
Объясним на примере. Вы проанализировали воронку продаж в компании и заметили, что форму подписки на email-рассылку заполняют лишь 3% тех, кто увидел ее. Вам нужно «увеличить конверсию в подписку на рассылку на 15%» — это и будет цель. А CR, или конверсия, поможет измерить, достигнута ли поставленная цель.
Шаг 2. Формулируем гипотезу
Гипотеза также является основой A/B-тестирования. Она должна содержать предположение, метрику и конечный результат: «Если мы [. ], то [. ]». Выделяют два вида гипотез:
- нулевая — изменения не принесут ожидаемых результатов;
- альтернативная — изменения помогут достичь цели.
Вернемся к примеру. В нашем случае альтернативная гипотеза может быть такой: «Если мы предложим скидку 10% на любую покупку за подписку на рассылку, конверсия увеличится как минимум на 15%». Цифры не важны, в гипотезе можно обойтись без них, ведь точно никогда не получится посчитать выгоду от каких-либо изменений до эксперимента. Нулевая гипотеза будет такой: «Если мы предложим скидку 10% на любую покупку за подписку на рассылку, это никак не скажется на конверсии».
Тестируйте только один элемент за один эксперимент. Если вы поменяете сразу несколько объектов, не удастся понять, какой из них лучше сработал. Если у вас есть несколько гипотез, необходимо провести несколько тестов.
Шаг 3. Определяем аудиторию
Чтобы эксперимент прошел объективно, выборка должна быть репрезентативной.
Репрезентативность — соответствие признаков тестируемой группы генеральной совокупности.
Генеральная совокупность — это совокупность всех пользователей/клиентов, о которых нам необходимо сделать вывод. Если выборка репрезентативная, значит, результаты исследования можно обобщить для всей аудитории.
В нашем примере генеральная совокупность — это наша целевая аудитория. Допустим, наш магазин одежды ориентирован на женщин и мужчин от 18 до 35 лет. При этом, женская аудитория составляет 70% от общего числа. Значит, чтобы выборка была репрезентативной, необходимо собрать группу, которая будет полностью соответствовать этим показателям — в ней должно быть 70% женщин, 30% мужчин от 18 до 35 лет. Нужно определить две таких группы — экспериментальную и контрольную. Одной аудитории мы показываем вариант сайта A, другой — вариант B.
Только в этом случае тест будет корректным. Если выборка окажется нерепрезентативной, результаты эксперимента окажутся под сомнением.
Также важно определить размер выборки. Для этого можно воспользоваться калькулятором. В зависимости от объема выборки, определите длительность тестирования — рассчитайте ежедневный трафик и посмотрите, сколько нужно дней, чтобы собрать достаточно данных. В среднем для этого требуется две недели.
И снова пример! Вернемся к нашему магазину — например, в день сайт посещают 10 тысяч человек. Калькулятор показал, что для объективности эксперимента два варианта формы должны увидеть в общей сложности 100 тысяч пользователей. Получается, 100/10=10 дней для получения результатов.
Шаг 4. Проводим эксперимент
Определитесь с площадкой, с помощью которой будете проводить эксперимент. Приступайте к оценке данных только тогда, когда эксперимент закончится.
Инструменты для проведения A/B-тестирования
Несколько инструментов для ваших экспериментов:
- Google Optimize. Раньше это был самый популярный сервис для A/B-тестирования с возможностью проверки 5 вариантов и нескольких гипотез сразу. Правда, с сентября 2023 года поддержку сервиса прекращают. а-б-тестирование появится в Google Аналитике 4.
- Эксперименты в Яндекс Метрике. Новый инструмент запустили только в прошлом месяце, но он уже стал популярен среди русскоязычной аудитории.
- RealROI — отечественная платформа, с помощью которой можно проводить тесты на лендингах и управлять объявлениями в Директе.
- Optimizely. Еще один удобный инструмент с интуитивно понятным интерфейсом.
- MyTarget. Платформа пригодится, если вам нужно тестировать не страницы сайта, а рекламные объявления.
- VWO — платная зарубежная платформа с большими возможностями, но для новичков не подойдет, потому что требует навыков работы с версткой.
Шаг 5. Проводим анализ
Итак, 10 мучительно долгих дней прошли, и что мы видим? Конверсия второй группы, которой мы показывали вариант формы с оффером, составила 30% — предложение-то работает! Значит, наш эксперимент можно считать успешным? Нет, нужно определить статистическую значимость, чтобы убедиться, что результатам можно доверять. Для этого есть множество калькуляторов.
Вот один из них.
Вариант B лучше варианта A. Эксперимент удался!
Топ-3 ошибки при проведении тестов
Эти ошибки чаще всего допускают при проведении тестирования:
Одновременная проверка двух гипотез/элементов
Сложно удержаться от соблазна за раз убить двух зайцев проверить несколько элементов. Но так вы не сможете отследить, какой из них повлиял на метрики. Возможно, первый покажет отрицательный результат, а остальные — положительный. Из-за этого можно сделать неправильные выводы. Один тест — одна гипотеза.
Последовательное тестирование
Во время последовательного тестирования первые две недели (или месяц) вы показываете вариант сайта A, а оставшийся промежуток времени — вариант B. Для ниш с сезонными товарами последовательное тестирование не подойдет — невозможно будет оценить, повлиял ли на результаты спрос.
Например, вы продаете санки и решили тестировать новую страницу лендинга в феврале. Первый месяц вы показывали старый вариант, следующий месяц — новый. Если у последней показатели оказались крайне низкими, это не значит, что пора прощаться с дизайнером. Важно учитывать спрос — в марте санки уже никого не интересуют.
Недостаточное количество данных
Такое случается, когда эксперимент останавливают раньше времени. Может быть, сроки горят или презентацию перенесли на дату пораньше. Из-за этого в будущем можно потерять не одну сотню клиентов. Заканчивать эксперимент раньше срока — грубая ошибка. Чтобы избежать ее, не жалейте времени, и учитывайте, что статистическая достоверность должна быть не ниже 95%.
А-б тестирование — это лишь эксперимент, а не доказательство ваших гипотез. Тесты не всегда успешны, поэтому относитесь к ним как к полезному опыту, который поможет лучше понимать клиентов и сконцентрироваться на пробелах. Но не забывайте, что никакие тесты и оптимизации не помогут, если на сайте постоянно возникают технические проблемы. Поэтому выбирайте надежный хостинг и экспериментируйте без проблем!
Источник: www.reg.ru
Что мы знаем о тестировании бизнес-моделей?
Хорошая бизнес-модель является основой устойчивого успеха бизнеса. Исследования показывают, что 90% бизнес-идей меняются несколько раз прежде, чем достигнут коммерческого успеха, а 2 из 3 новых продуктов/решений не оправдывают ожиданий клиентов. Большинство компаний терпят неудачу по нескольким причинам: от неспособности адаптироваться к изменениям в экосистеме, следования старым и неработающим бизнес-моделям до отсутствия инновационной структуры в целом.
Именно поэтому в данной статье мы разберем 4 проблемы, с которыми часто компании сталкиваются при тестировании новых бизнес-моделей.
1. Создание правильной команды
Создание инновационных команд — это интенсивная работа, которая подразумевает не только привлечение определенных людей, но также и изменение культуры.
Первая задача заключается в том, чтобы посадить «нужных людей в автобус», как описывает Джим Коллинз в книге «От хорошего к великому». В повседневной практике руководители часто сталкиваются с проблемой поиска характеристик, которые не относятся к стандартным требованиям для сотрудников (пока что), таких как практический менталитет, отсутствие страха перед неудачей или открытость к новым методам работы. Эти три специфических свойства являются одними из ключевых при реализации идей новой бизнес-модели.
Согласно теории Джима Коллинза, после того, как лидеры набирают «нужных людей в автобус», они сталкиваются с трудностями при определении правильной роли для каждого члена команды, то есть «посадки нужных людей на нужные места». Проекты инноваций бизнес-моделей требуют различных характеристик мышления в зависимости от стадии своего развития. Команды должны развиваться или расти, основываясь на немногих имеющихся сведениях о требованиях, что часто приводит к высокой степени импровизации.
В конце концов, неудачи могут быть и из-за внутренних разногласий между руководителями бизнес-подразделений. Это происходит, потому что руководители часто не знают, кто и в какой роли может быть полезен в компании для начала инновационного процесса.
2. Наличие правильного мышления не означает наличие правильных навыков
Как уже упоминалось, начало инициативы по созданию бизнес-модели подразумевает поиск команды с нетипичными для традиционного подхода характеристиками. И проблема-то не столько в этом, а сколько в том, чтобы найти команду с нужными навыками .
Распространенной ошибкой является убеждение, что новые навыки означают, что традиционные и существующие уже не актуальны. Эта ошибка возникает потому, что перед запуском инициативы часто остаются открытыми 2 важных вопроса: «Как использовать существующие «традиционные» навыки?», «Как обеспечить поддержку инициативы со стороны опытных сотрудников?».
3. Интеграция инноваций в существующие процессы
Разработка инновационных бизнес-моделей влияет на все существующие процессы. Поскольку большинство компаний ориентируется на технологии, формирование инновации существующей бизнес-модели могут привести к отсутствию понимания и поддержки на высших уровнях организаций.
А поскольку изменить процессы сложно, компаниям не хватает опыта и подходов для интеграции инноваций бизнес-моделей в существующие процессы разработки продуктов. В результате процессы внедряются без особого анализа их совместимости с уже действующими процессами. В основном, это приводит либо к низкому уровню успешности проектов, либо к торможению изменений, поскольку некоторые члены компании, от которых зависят изменения, часто предпочитают не менять существующий уклад вещей.
4. Исследования, основанные на предположениях
Разработка проектов, основываясь на одних лишь предположениях, часто не понимается и не принимается.
Изучение новых идей бизнес-моделей не приносит краткосрочных прибыльных результатов. Поэтому руководители часто не видят смысла в спонсировании инициатив по исследованию. Когда менеджеры все же поддерживают такого рода инициативы, им приходится сталкиваться с традиционными подходами к управлению, укоренившимися в сознании других менеджеров. Это обычно приводит к несоответствию между руководителями и небольшими, но быстрыми и подвижными командами.
Вместо заключения
Инновации бизнес-моделей — это сложная задача. Компании и команды, участвующие в таких начинаниях, будут иметь дело с множеством неопределенностей, новыми навыками, которых у них нет, и внутренними/внешними препятствиями, с которыми они раньше не сталкивались.
Ключ к тому, чтобы не тратить ресурсы и время на развитие нового бизнеса, — постоянное тестирование его наиболее важных аспектов. Вместо того чтобы разрабатывать окончательное решение, выводить его на рынок и надеяться, что клиенты его купят, очень важно получить отзывы первых клиентов и партнеров, чтобы улучшить бизнес-модель в процессе работы и убедиться в ее общем потенциале.
Источник: startup-lab.ru
Что такое A/B тестирование: зачем и кому нужно, как его проводить + список инструментов
Практикующий маркетолог с опытом работы более 6 лет. Руководитель отдела маркетинга в международной компании ООО ВИДЖЕТ (Zvonobot) . Спикер тематических форумов для предпринимателей и онлайн-курсов по маркетингу.
Задать вопрос
Каждому бизнесу требуется развитие, движение вперед. Иначе происходит деградация. Чтобы этого избежать, иногда приходится вносить изменения в привычную организацию трудового процесса: расширять каталоги, добавлять новые услуги, запускать рекламу, улучшать качество выпускаемого продукта и т. д.
Одним из главных инструментов продвижения компании является сайт. Он также требует регулярного обновления для повышения конверсии. Чтобы узнать заранее, насколько эффективным окажется то или иное мероприятие по развитию ресурса, применяются A/B-тесты.
Они позволяют организовать проверку гипотез, на практике проанализировать поведение потенциальных клиентов. Так, предприниматель может принять решение, нужно ли вносить правки в работу веб-страницы или они не принесут ожидаемого результата.
Что такое А/В-тестирование простыми словами
Кому нужно А/В-тестирование
Проведение А/B-тестов прежде всего необходимо бизнесу: всем, кто хочет выйти на новый уровень продаж, улучшить качество работы, сделать продукт более оптимизированным для клиентов:
- продакт-менеджерам для экспериментов с переоценкой товаров, повышения прибыли, оптимизации стратегии продаж;
- маркетологам для проверки реакции потенциальных клиентов на новые элементы привлечения внимания;
- дизайнерам для опытов по внедрению новых цветовых решений или графики в оформление и т. д.
А/B-тестирование помогает понять, что улучшить, а также как не сделать товар или услугу хуже. Это тоже является важной задачей этих специалистов.
При получении объективных данных происходит более быстрое продвижение на рынке, ведь информация поступает непосредственно от целевой аудитории. Покупатель лучше знает, что ему требуется. Если при развитии продукта учитывать только собственные субъективные взгляды, это может сильно затормозить процесс.
Если ориентироваться только на личные ощущения, то конкуренты, которые проведут тщательный анализ метрики, легко вас обойдут и предложат потребителям тот вариант, который им нужен. Поэтому без А/B-тестирования сегодня не может обойтись ни один проект (приложения, товары, услуги и т. д.).
Что тестировать
В ходе А/B-тестирования происходит оценка разных параметров. Их выбор зависит от цели исследования. Например, маркетологи обычно тестируют следующие элементы:
- текст (шрифт, размер, цвет, форматирование);
- конверсионные элементы (размер, цвет, дизайн, расположение);
- заголовки и описания продуктов или услуг;
- общий внешний вид, их макеты;
- стоимость товаров;
- составляющие компоненты предложения для клиентов;
- изображение товаров;
- количество контента и т. д.
Скажем, если маркетолог видит, что большее число посетителей ресурса покидают его спустя всего несколько секунд, возможно, стоит усовершенствовать визуальное оформление главной страницы.
Если зафиксирован низкий показатель заявок, скорее всего, в исправлении нуждаются конверсионные элементы или интерфейс регистрационной формы.
Опытным путем в ходе сплит-тестирования выясняется, какой именно вариант оформления кнопок или текста будет самым удачным.
Какие задачи бизнеса решают А/В-тесты
С помощью А/B-тестов можно помочь предпринимательству с достижением следующих целей:
1. Решить проблемы клиентов
Посетители хотят от сайта решения конкретной задачи – узнать информацию о цене или о характеристиках товара, условиях совершение покупки и т. д.
Для большего коэффициента эффективности важно обеспечить доступность и простоту совершения необходимых действий. Скажем, кнопка «Покупка» должна сразу бросаться в глаза потенциальным покупателям.
С помощью сплит-тестов определяется, что именно хотелось бы потребителю в любой сфере предпринимательства.
2. Обеспечить лучшую окупаемость вложенных средств
С помощью тестов повышается качество трафика, позитивно влияющего на увеличение конверсии и прибыли. Иногда для этого достаточно внести небольшие правки.
3. Уменьшить количество отказов
Для этого важно понять причину, почему люди уходят без покупки или регистрации. У тех или иных ресурсов разные аудитории и цели, поэтому не существует универсальной причины.
Поиск оптимального решения осуществляется с помощью А/B-тестирования. Методом подбора специалист делает ресурс максимально удобным для аудитории, чтобы те находились на нем больше времени.
4. Снизить риски при внедрении изменений
Если принято решение изменить дизайн, лучше это делать постепенно, чтобы не бросалось в глаза и не вызывало негатива у его гостей. Так удастся максимально сохранить конверсию.
С помощью A/B-тестов отслеживается реакция на обновления и внедряются исправления по чуть-чуть, чтобы те оказались успешными и окупились.
5. Обеспечить улучшение значимых метрик
В результате сплит-тестирования специалист получит четкие данные (число запросов; время, проведенное пользователями; число закрытых «Корзин» без покупок и пр.), и ему не придется гадать, где есть провалы по итогам – а значит, сможет вовремя исправить ошибки.
6. Улучшить юзабилити сайта
К нему относится глобальная смена всей концепции оформления, либо изменение отдельных небольших компонентов для лучшего пользовательского опыта. При этом важно руководствоваться результатами А/B-тестирования.
Какая бы цель ни стояла перед специалистами, А/B-тесты помогают убедиться, что сейчас используется лучший вариант.
КСТАТИ
Зарегистрируйтесь в нашем сервисе голосовых рассылок Zvonobot и получите первые 20 звонков — бесплатно!
Что именно улучшат А/В-тесты
Все показатели, оптимизируемые с помощью A/B-тестов, разделяются на несколько категорий:
1. Конверсия
Объем посетителей, которые совершают целевые действия. При успешном изменении страниц, посетители начинают чаще проходить регистрацию, подписываться на рассылки, больше покупать товары. Так, она увеличивается.
2. Финансы
Прибыль, которую приносит веб-ресурс. Самая главная цель любого бизнеса – увеличение этого показателя. Чем приятнее интерфейс ресурса, тем чаще у покупателей будет возникать желание что-либо приобрести.
Параметр имеет конкретное количественное выражение. Он измеряется по нескольким факторам: объем продаж за месяц, средний чек, стоимость рекламы и т. д.
Для его увеличения используются специальные методики. Например, внедрить Suggestive-алгоритм, который оценивает выбор покупателя и предлагает ему товары, похожие на те, что он уже купил или просто просматривал.
3. Поведение
Оценка действий аудитории ресурса: время, объем постоянных пользователей, отказы и т. п.
Какие инструменты использовать для А/В-тестирования
A/b-тесты проводятся вручную или с помощью специализированных инструментов. Рассмотрим самые популярные из них:
Google Оптимизация
Бесплатный инструмент от Google, который доступен на базе Google Marketing Platform. Он позволяет выполнять а/b тестирование элементов для увеличения трафика: заголовков, шрифтов, конверсионных элементов, форм, изображений и т. д.
Optimizely
В отличие от Google, программное обеспечение платное, цена обговаривается индивидуально с каждым покупателем в отделе продаж. А/B-тесты создаются в визуальном редакторе. Это удобно, так как избавляет от необходимости создания HTML-кодов. Optimizely полностью интегрируется с Google Analytics.
Сервис Visual Website Optimizer
Тоже платный, стоимость 1 месяца от 99 до 999$, в зависимости от потребностей. Помогает создавать тестирования компонентов через HTML-коды.
Unbounce
Платное ПО для создания лендингов, стоимость от 79 до 399$ в месяц. Позволяет не только создавать страницы, но и оптимизировать их, практиковать ab-тесты.
Как проводить успешное А/В-тестирование
Чтобы успешно провести ab-тестирование, следует выполнять его поэтапно:
1. Оценить необходимость проведения тестирования
A/B-тесты – один из лучших инструментов для оптимизации работы сайта, но для его запуска нужна четкая гипотеза, постоянное число посетителей, стабильная конверсия, постоянная аналитика процессов. Если какого-либо компонента пока нет, больше подойдут другие инструменты.
2. Сформулировать гипотезу
Гипотеза – основа всего исследования. Важно понимать, зачем нужно сравнение двух вариантов.
Если гипотезы пока нет, допустимо провести опрос среди покупателей, например, узнать, за что они выбирают вашу компанию, изучить статистику о поведении посетителей. Для этого удобно использовать вебвизор – инструмент, который записывает действия посетителей на вашем ресурсе.
3. Определение целевых показателей
То есть критериев, по которым будет производиться оценка сервиса (заявки, отказы, секунды или минуты, проведенные на странице, регистрации, покупки, средняя сумма чека и пр.). Их выбор зависит от проблемы, которую решает маркетолог.
Главное, обеспечить фиксацию метрики на сайте, чтобы она отражалась количественными показателями результатов.
4. Выбрать один элемент тестирования
Например, шрифт, заголовок, изображение. Нельзя начинать сплит-тест сразу на нескольких компонентах, в противном случае, будет сложно понять, что именно повлияло на метрику.
5. Определить выборку
То есть определенное число посетителей, которое необходимо для тестирования. Оно должно быть таким, чтобы итоги A/B-теста считались достоверными, а не случайными.
Показатель зависит от того, насколько сильные перемены ожидаются. Подсчет можно организовать онлайн-калькулятором.
Например, если начальный показатель конверсии 10% и предполагается, что она должна вырасти до 11%, значит, каждую страницу должно посмотреть ориентировочно 14400 посетителей. После этого можно завершать A/B-тестирование.
Также важно определить, всем ли посетителям будет показана тестовая версия или только части. Если всем, тест завершится быстрее. С другой стороны, если правки окажутся неэффективными, конверсия начнет падать и приведет к потерям.
Важно учесть, какие посетители просматривают страницу: новые или постоянные. Те, кто уже видел прежний вариант будут реагировать на поправки не так, как те, кто видит ее впервые.
6. Определить продолжительность тестирования
Минимальный срок – неделя, даже если необходимое число посетителей набралось за 1 день. Это объясняется разным поведением пользователей в разные дни недели.
Если цель тестирования – увеличение объема продаж, надо иметь в виду, что пользователь обычно совершает покупку в течение 10 дней. Поэтому оптимальный срок для получения достоверных результатов – 2 недели (даже если в первые дни уже лидирует какой-либо вариант).
7. Проверить две части аудитории на подобие
Чистота эксперимента зависит от того, насколько однородными и похожими будут посетители, относящиеся как к одной, так и к другой части трафика.
Чтобы начать проверку, сначала запускается А/B-тестирование с двумя идентичными страницами. Показатель однородности – одинаковый уровень конверсии.
8. Контролировать ход тестирования
В процессе экспериментов, важно замечать колебания в поведении и своевременно реагировать на аномалии. Так, если коэффициент эффективности двух страничек отличается слишком сильно, нужно проверить, все ли кнопки рабочие.
9. Провести повторное тестирование
Это необходимо для проверки достоверности полученных данных, а также статистическую значимость результатов.
При запуске сплит-тестирования важно учитывать время года, особенности окружающей среды. Например, сильное искажение метрики наблюдается в летний период, когда люди уходят в отпуск, перед новогодними праздниками, на фоне масштабных изменений в мире (война, скачки курсов валют, пандемия и пр.).
Какова роль аналитика в А/B-тестировании
Аналитик – главное лицо в процессе тестирования. Он производит AB-тесты, собирает и обрабатывает полученные данные.
Так как от аналитика во многом зависит успех тестирования, специалисту важно избегать следующих ошибок:
- Фиксировать эффект, где на самом деле он отсутствует. Допустим, если двум частям посетителей ошибочно показывается одна и та же версия.
- Отрицать эффект там, где он есть. Такое может возникнуть, если игнорировать очевидные отличия в полученных результатах.
Исходом работы аналитика должны стать рекомендации или прогнозы о дальнейшей работе ресурса с нововведениями.
Частые ошибки в А/В-тестах
A/B тестирование — непростая задача, поэтому нередко специалисты совершают ошибки в процессе. Рассмотрим самые частые:
- одновременное сравнение нескольких компонентов;
- принятие решения до истечения срока завершения сплит-теста;
- проведение опыта специалистом, который не разбирается в методологии (в этом случае лучше довериться профессионалу);
- отсутствие стабильного потока конверсии (при этом необходимость в А/B-тестировании теряется);
- отсутствие четкой гипотезы, важно точно сформулировать цель и показатели, которые будут оцениваться.
Чтобы тестирование одержало успех, важно обращать внимание на возникающие недочеты и минимизировать их размер.
Примеры А/В-тестов
Рассмотрим наглядно, как делать а/b-тестирование.
Пример 1
Специалисты компании FreeMake выдвинули гипотезу о том, что изменение цвета заголовка на их официальном сайте увеличит конверсию. Изначально выбрали оранжевый цвет, но он плохо выделялся на фоне других элементов.
Для эксперимента выбрали черный цвет, т.к. он более читабельный, а значит повысить количество скачиваний. Предположение оказалось верным. Показатель конверсии увеличился на 6.64%, при том, что перемена была не такая значительная.
Из опыта можно сделать вывод: дизайн текстов, описаний, заголовков, подзаголовков очень важен для продвижения. Он должен быть привлекательным и читабельным.
Пример 2
Маркетинговое агентство провело эксперимент, связанный с рассылкой e-mail писем. Оно выдвинуло предположение, что исправленная тема письма увеличит количество просмотров.
В первом варианте написали: «Как можно найти ключевые слова». Второй вариант (экспериментальный) предполагал написание: «Вот это да! Как можно найти ключевые слова».
В ходе опыта удалось установить, что добавленное междометие увеличило объем просмотров на 24%. Причем, после этого выполнялось еще несколько аналогичных опытов с восклицающими фразами в начале предложения. Все они показали положительный результат.
Так, был сделан вывод: междометия помогают привлекать внимание пользователей, креатив и нестандартное оформление нравятся потенциальным клиентам.
Пример 3
На площадке ContentVerve.ru был организован эксперимент. Предполагалось, что исправление формы подписки увеличит количество пользователей, оставивших свои данные.
В начальной форме были поля для имени и e-mail. Принялось решение о добавлении к ним перечня преимуществ, доступных только для подписанных пользователей.
По итогам тестирования конверсия увеличилась на 84%. Сделано заключение: чтобы получить клиента, нужно убедить его, объяснить, какую выгоду он получит от сотрудничества.
Источник: zvonobot.ru
