Mvt это в бизнесе

Здравствуйте. Меня зовут Людмила, я маркетолог в компании Altcraft. Сегодня поговорим с вами о том, как найти правильный вариант контента. Предлагаем использовать данные A/B/n и MVT тестов вместо догадок. Узнайте в статье, чем отличаются эти виды тестирований, как их провести и почему они важны для вашего бизнеса.

Приятного чтения.

1812 просмотров

Лендинг плохо работает, email- и push-рассылки не дают результата. В чём причина? Что изменить, чтобы повысить эффективность? Даже самый опытный маркетолог не ответит на 100% точно. Угадывание — риск потерять время, деньги и потенциальных клиентов.

88% пользователей, скорее всего, не вернутся на сайт компании после неудачного опыта. Также ошибки стоят дорого — $1,420,300,000,000 теряют компании со всего мира из-за плохого UX дизайна.

Что такое A/B/n-тестирование и зачем его проводить

A/B/n тестирование — метод, где сравнивают эффективность нескольких вариантов контента на странице сайта, в email-рассылке и в других кампаниях. Проверяют отдельные элементы или нескольких разных шаблонов. Цель тестирования — понять, какая версия работает лучше и даёт больше конверсий.

A/B/n test — это A/B тестирование, но есть разница. Обычный сплит-тест (другое название A/B теста) проверяет только 2 варианта, а трафик делится 50/50% для каждой версии.

A/B/n сравнивает больше двух вариантов, и трафик равномерно распределяется между каждой версией.

Например, маркетинговая команда предлагает 4 вариантов нового дизайна сайта и не может договориться, какой лучше. Тогда запускается A/B/n тест, где каждый вариант получит 25% трафика.

Какие элементы можно тестировать с помощью A/B/n (некоторые примеры):

  • дизайн страницы полностью;
  • текст и дизайн кнопок для конверсий;
  • расположение форм для данных и кнопок;
  • размеры объектов: кнопок, текста, форм;
  • цены на товары;
  • описание продукта;
  • заголовки в описании товаров;
  • иллюстрации для товаров;
  • объём текста на страницах;
  • всплывающие окна;
  • лид-магниты.

Зачем проводить тестирование? Оно помогает уйти от догадок маркетологов и интуитивного принятия решений к действиям на основе данных. Такой подход:

  • снизит риски потерь времени и ресурсов из-за ошибок;
  • укажет на самые эффективные варианты контента.
  • Преимущества и недостатки A/B/n тестирования.

Снижение рисков денежных потерь. Чем проще клиенту найти нужный товар и сделать заказ, тем с большей вероятностью он купит именно у вас. Незаметные кнопки и непонятная навигация ведут к потере клиентов и потенциального дохода.

Увеличение конверсии. С помощью теста вы найдёте самые кликабельные варианты, которые быстрее приведут ваших клиентов к покупке.

Проверка идей. Во время разработки нового дизайна случаются споры. Чья идея лучше? Покажет сплит-тестирование, которое проверит гипотезы и решит конфликт мирным путём.

Увеличение трафика. Произойдёт, если снизить показатель отказов (Bounce Rate), который учитывают поисковые системы при ранжировании сайта. Удобная посадочная страница задержит пользователей дольше — это хороший признак для поисковиков. Пользователям интересно, они остаются на сайте — можно показывать эту страницу чаще.

Экономия ресурсов. Тест быстрее покажет, какие варианты рабочие, чем споры и проверка по одной версии контента последовательно.

Новые идеи для будущих кампаний. Поведение пользователей с разными вариантами дизайна — источник для новых инсайтов, иногда неожиданных.

Большой объём трафика. Для обычного A/B тестирования трафик делится на 2 части, для A/B/n — на несколько равных. Результаты будут значимыми только при достаточном трафике для каждого варианта.

Проверка только одного элемента. Тест покажет, какой вариант оказался лучше (например, на тёмную кнопку кликали чаще, чем на светлую). Другие факторы, которые повлияли на результат, останутся неизвестными.

Санкции поисковых систем. При тестировании вариантов дизайна сайта поисковики могут заподозрить вас в клоакинге — поисковом спаме, когда пользователь и поисковая система видят разные варианты страниц.

Как провести A/B/n тестирование

  • Определяем проблему

Ищем, что работает неэффективно или вообще не приносит никаких результатов. Например, пользователи редко кликают на кнопку «доптовары» на сайте или не переходят на страницу заказа из email.

Определят «слабые места» инструменты Google Analytics, вебвизоры и анализ обращений пользователей в техподдержку.

  • Обозначаем гипотезу

Гипотеза отражает, какое действие улучшит показатели. Например, если изменить цвет кнопки «доптовары» на более яркий, то количество кликов увеличится в 2 раза.

  • Создаём варианты для теста

Проверять за один тест можно одну гипотезу. Например, для кнопки «доптовары» — это несколько разных цветов: красный, синий, жёлтый. Менять одновременно размер шрифта и положение кнопки уже нельзя.

Другой вариант — тестировать дизайн полностью.

  • Проверяем метрики и элементы для теста

Результаты теста нельзя оценивать без привязки к метрикам: количеству показов, кликов и другим, которые вы планируете улучшать. Инструменты для отслеживания должны работать до начала теста. Не забудьте проверить кнопки, формы и отображение элементов, которые собираетесь тестировать.

  • Определяем размер выборки

Для репрезентативного результата нужно определённое количество посетителей сайта, которые увидят вашу страницу. Как его рассчитать? Использовать специальные онлайн-калькуляторы: Optimizely, Driverback и другие.

Как это работает:

  1. Указываем текущую конверсию.
  2. Вводим в процентах, на сколько хотим повысить показатель (минимальный видимый эффект).

Например, сейчас конверсия 5%. Мы хотим улучшить её на 10%. Вводим параметры в калькулятор и получаем 30 244 человек — столько нужно уникальных просмотров на каждый вариант.

Пример расчёта трафика для тестирования

Запускаем тестирование

Важно тестировать все варианты одновременно, а не по отдельности. Результат зависит от времени суток, дня недели, сезонности и других факторов. Остановите тест, когда каждый вариант наберёт нужное количество просмотров.

Считаем результаты и принимаем решение

Снова возвращаемся к онлайн-калькуляторам. Теперь, чтобы рассчитать статистическую значимость результатов. Для этого указываем количество конверсий по каждому варианту и размер выборки. Калькулятор покажет, отличаются результаты или значительной разницы нет.

По итогам принимаем решение: внедрять новый дизайн/элемент дизайна/менять контент полностью или начать новое тестирование.

Что такое MVT-тестирование

MVT или мультивариантное тестирование проверяет эффективность сразу нескольких комбинаций разных элементов на страницах сайта и на других площадках. MVT тестирование покажет, какое сочетание даёт больше конверсий.

Тестируют такие же элементы, как в A/B/n тестах, но более детально и в комплексе с другими. MVT не сравнивает дизайн полностью.

Например, мы хотим проверить эффективность кнопки CTA. Есть два варианта «заказать» и «купить», для которых используем красный или жёлтый цвет, а также полужирный или обычный шрифт. Ещё под кнопкой два варианта подписи: «сейчас» или «товар просматривают 5 человек». Получаем 16 вариантов.

Пример вариантов для MVT тестирования

Источник: vc.ru

Минимальная команда стартапа (MVT) и числа Фибоначчи

Новые стартапы

В математике есть такая последовательность – 1, 1, 2, 3, 5, 8, 13 и т.п. Называется ряд Фибоначчи . Каждое следующее число – сумма двух предыдущих. Эту последовательность можно встретить в музыке, дизайне, биологии. Фибоначчи применил этот ряд для описания размножение кроликов. Я попробую описать рост команды стартапа.

Читайте также:  Как перенести бизнес в другой город

У стартапов и кроликов есть что-то общее – они очень быстро плодятся и так же стремительно мрут. Итак, поехали плодиться.

1+1 = 2. Человек-продукт и Человек-ресурсы (Автор и Продюсер)

wozniak-and-jobs

Все мы знаем истории про Стива Джобса и Стива Возняка, Билла Гейтса и Пола Аллена, Джорджа Мартина и Джона Ленона.

В этих историях четко прослеживается два типажа:

  • Автор продукта – hacker, product, cоздание и производство продукта, эксперт в определенном предмете.
  • Продюсер бизнеса, организатор, предприниматель – hustler, sales, ресурсы, продажи, связи, эксперт в определенном рынке.

Внешне их встреча случайна – вместе учились или вместе работали. Но за случайной встречей стоят долгие годы поисков, проб и ошибок.

Продюсер ищет авторов и их продукты в которые он влюбится и захочет доносить людям, своему рынку, кого ему не стыдно будет пиарить и на ком он сможет много заработать. Хороший продюсер в какой-либо теме – это самый требовательный клиент. Музыкальный продюсер – меломан, хороший продавец машин – фанат авто.

Автор ищет продюсера, который сможет обеспечить его рынком, продажами и всеми необходимыми ресурсами, чтобы тот занимался только любимым делом и не отвлекался на продажи, логистику, административные заботы и т.п.

В образовательных онлайн проектах – это преподаватель (автор) и владелец площадки с трафиком (продюсер). В медицинских – это доктор и руководитель клиники (онлайн/офлайн).

От уровня этих двоих зависит уровень всего проекта в целом. В рекрутинге есть такой закон ABC- распределения людей (5 – 15 -80 %) “люди категории А, приводят людей категории А. Люди категории B приводят людей категории С, а люди категории С вообще никого не приводят – они постоянно ищут работу. ”

Есть примеры, когда внешне кажется, что за проектом стоит один человек: Олег Тиньков, Ричард Бренстон (типичные предприниматели-продюсеры). Марк Цукерберг, Павел Дуров (типичные разработчики-авторы) . Во-первых, ни один бизнес не был построен водиночку, все они работают в сильных командах. Во-вторых, у них могут быть изначально неравные доли (20/80% – например) и со временем, команда выстраивается в иерархию с одним явно выраженным лидером, а второй партнер-основатель становится обычным сотрудником или выходит из бизнеса. Во-третьих, не всегда публичная фигура, представляющая проект в СМИ – является его истинным двигателем.

“Уже делает” vs. “только собирается”

Есть люди, которые только собираются, а есть люди которые уже делают. Первые говорят о своих грандиозных планах на будущее, вторые говорят “вот сделал вчера такую штуку”. В стартап нужны люди типа “уже делает”.

Как распознать хорошего Автора или Продюсера? Хороший автор – уже делает продукт и может предъявить, если не что-то готовое, то артефакты в виде прототипа, MVP. А хороший продюсер – уже имеет базу клиентов и уже им что-либо продает.

Это минимальная команда (MT)

Мне до сих пор встречаются образовательные проекты без преподавателя в команде, медицинские проекты без доктора, it- проекты с разработчиками на аутсорсе … Очевидно – это все нежизнеспособные истории.

Как найти со-основателя?

Это, пожалуй, самый сложный вопрос. У Аркадия Морейниса есть подробная статья на эту тему. Если кратко – “быстро никак”. Обычно все происходит примерно так:

  • Два человека где-то знакомятся. Вместе работают, вместе учились, были на одной конференции, пришли на Startup Weekend и т.п. На этом этапе важен хороший нетворкинг – можно поставить цель: “познакомиться лично с 100 людьми из отрасли” и мысленно разделить их на: “потенциальный Автор” и “потенциальный Продюсер”.
  • Потом у них была какая-то длительная совместная деятельность – вместе делали какой-то проект, кто-то мог быть исполнителем/заказчиком или может быть вместе выпивали по пятницам или бегали по утрам или ходили в поход. В ходе этой деятельности люди могли оценить друг друга лучше. Это самый сложный в реализации этап. Тут задача проверить хотя бы 10-20 человек “в деле”, в реальных проектах.
  • По прошествию времени люди знают друг друга уже лет 3-5-10 и когда одному из них попадается достойный проект, он зовет другого разделить с ними риски и быть со-основателем/партнером. Вряд ли это случится в 1-й день или даже в 1-й год знакомства.

Вторая проблема – отсутствие личного позиционирования. Кто вы в этом проекте – Автор? Продюсер? Пытаетесь совместить обе роли? Беда талантливых людей – делать все самому, пытаться быть и Автором и Продюсером.

Скорее всего и ту и другую роль совмещать не получится и со-основателя не привлечете (он не поймет своей роли) и проект завалите.

Есть много статей в стиле “10 главных причин провала стартапа”. Там на 1-м месте обычно стоит пункт “проект решает проблему, которой на самом деле нет” и на 3-м месте “слабая команда”.

В моей картине мира все еще проще. У всех этих 10 причин, есть еще одна более глубокая причина – “не тот Автор встретил не того Продюсера и поэтому они делают не тот Проект”, который а) не имеет рынка б)бизнес-модели и далее по списку.

Замена одного из участников или лучше двоих – вот самое сильное решение, после которого у проекта появляется и рынок и продукт и команда и бизнес-модель.

Кем быть – Автором или Продюсером ?

Из модели минимальной команды видно – нужно четко определить свою роль. Кто я – Автор или Продюсер? Сидеть на “2-х стульях” в 1-м проекте точно не получится. Это важнейшее решение, которое определяет успех/неудачу карьеры и проектов на ближайшие годы. Вот в чем принципиальная разница между этими 2-мя персонажами:

  • Для роли Продюсер (предприниматель) – первична “группа клиентов”, ниша, аудитория. Те 100-1000 клиентов, которых он знает лично и которым из года в год продает разные продукты/проекты/решения. Для него первичны потребности его аудитории, которым он все время находит что продать. Вашей нишей могут быть “владельцы банков” или “мамы школьников 11-х классов” или “владельцы автомобилей Toyota” – понятная, доступная, платежеспособная аудитория. От размера, платежеспособности аудитории и того, насколько подходящие продукты/решения предприниматель предлагает им – зависит его успех.
  • Для роли Автор продукта/эксперта – первичен некий уникальный набор навыков, которые необходимо все время “прокачивать” и быть лучшим, экспертом №1 в решении определенного класса задач. Вы можете быть очень крутым дизайнером интерьеров, разработчиком java, экспертом в налоговом учете, нейрохирургом, консультантом по личным финансам.
Читайте также:  Как открыть бизнес все для праздника

Успех появляется там, где для определенной группы людей с их специфичной проблемой (которых хорошо знает Продюсер) находится новое ценностное предложение ( которое может предложить Автор). Большинство хороших Продюсеров – в прошлом авторы/эксперты.

Отсюда вывод – если совсем непонятно кем быть, или вы в самом начале пути, стоит стать автором/экспертом №1 в какой-то узкой области и уже на базе этого, либо продолжать “прокачивать” экспертизу, либо становиться Продюсером для других Авторов.

1+2 = 3. Человек-продукт, Человек-ресурсы, Человек-процессы (производство, продажи, логистика)

w704

Команда из двух человек – минимальная. Она способна к запуску и первым продажам, но работать ежедневно и стабильно вряд ли сможет. Пока в команде не появится человек, который займется операционкой. Говорят, в каждом стартапе должен быть бывший военный. Кто все систематизирует и наладит.

Это про человека-операции. Кто его находит и приводит? Конечно, “человек-ресурсы” (предприниматель, продюсер)

Именно эта комбинация называется MVT (minimum vailable team) – минимально жизнеспособной командой проекта.

В некоторых статьях эту комбинацию называют Hacker, Hustler, Hipster:

  • Человек-ресурсы/Hustler/Outside – Поиск новых ниш, основные переговоры, поиск людей, денег, контактов, контрактов. Общение с клиентами, поиск продуктов. Обеспечение проекта всеми ресурсами. Экспертиза в рынке.
  • Человек-продукт, автор/Hacker/Builder – мозг проекта, автор продукта, эксперт в теме, разработчик.
  • Человек-процессы/операционка/Hipster/Experience – контент, дизайн, email-маркетинг, управление рекламными кампаниями, саппорт, логистика, доставка.

2+3 = 5. Управление, производство, продажи, логистика, финансы

Следующая устойчивая комбинация – 5 человек. Я назваю это – минимальной идеальной командой (МIT) с минимальной иерархией. (об этом я уже как-то писал).

Естественно еще двоих людей так же приводит “Человек-ресурсы” (он же – Продюсер, Предприниматель, Hustler). До этого момента основные продажи были на нем, с ростом бизнеса он привлекает в проект еще одного продавца. Они могут делить продажи по принципу b2b/b2c или продажи/account manager и т.п. Так же растет потребность в учете, аналитике, бухгалтерии, платежах, контроле затрат – на эту роль находится экономист/финансист/аналитик.

Итого, команда приобретает вид:

  • Предприниматель/Человек-ресурсы/Hustler – Основные продажи и клиенты, подбор команды, финансы, энергия и видение всего проекта, драйв. Общение с инвесторами, отслеживание основных KPI. На данном этапе этого человека можно назвать CEO/гендир.
  • Saleshttps://newstartups.ru/2018/05/24/minimalnaya-komanda-startapa-mvt-i-chisla-fibonachchi/» target=»_blank»]newstartups.ru[/mask_link]

    A/B/n и MVT-тестирование: польза для бизнеса, сходства и различия

    A/B/n и MVT-тестирование

    Лендинг плохо работает, email- и push-рассылки не дают результата. В чём причина? Что изменить, чтобы повысить эффективность? Даже самый опытный маркетолог не ответит на 100% точно. Угадывание — риск потерять время, деньги и потенциальных клиентов. 88% пользователей, скорее всего, не вернутся на сайт компании после неудачного опыта.

    Также ошибки стоят дорого — $1,420,300,000,000 теряют компании со всего мира из-за плохого UX дизайна.

    Как найти правильный вариант контента? Использовать данные A/B/n и MVT тестов вместо догадок. Узнайте в статье, чем отличаются эти виды тестирований, как их провести и почему они важны для вашего бизнеса.

    Что такое A/B/n-тестирование и зачем его проводить

    A/B/n тестирование — метод, где сравнивают эффективность нескольких вариантов контента на странице сайта, в email-рассылке и в других кампаниях. Проверяют отдельные элементы или нескольких разных шаблонов. Цель тестирования — понять, какая версия работает лучше и даёт больше конверсий.

    A/B/n test — это A/B тестирование, но есть разница. Обычный сплит-тест (другое название A/B теста) проверяет только 2 варианта, а трафик делится 50/50% для каждой версии.

    A/B/n-тестирование

    A/B/n сравнивает больше двух вариантов, и трафик равномерно распределяется между каждой версией.

    Например, маркетинговая команда предлагает 4 вариантов нового дизайна сайта и не может договориться, какой лучше. Тогда запускается A/B/n тест, где каждый вариант получит 25% трафика.

    A/B/n тестирование

    Какие элементы можно тестировать с помощью A/B/n (некоторые примеры):

    • дизайн страницы полностью;
    • текст и дизайн кнопок для конверсий;
    • расположение форм для данных и кнопок;
    • размеры объектов: кнопок, текста, форм;
    • цены на товары;
    • описание продукта;
    • заголовки в описании товаров;
    • иллюстрации для товаров;
    • объём текста на страницах;
    • всплывающие окна;
    • лид-магниты.

    Зачем проводить тестирование? Оно помогает уйти от догадок маркетологов и интуитивного принятия решений к действиям на основе данных. Такой подход:

    • снизит риски потерь времени и ресурсов из-за ошибок;
    • укажет на самые эффективные варианты контента.

    Преимущества и недостатки A/B/n тестирования

    Плюсы

    Снижение рисков денежных потерь. Чем проще клиенту найти нужный товар и сделать заказ, тем с большей вероятностью он купит именно у вас. Незаметные кнопки и непонятная навигация ведут к потере клиентов и потенциального дохода.

    Увеличение конверсии. С помощью теста вы найдёте самые кликабельные варианты, которые быстрее приведут ваших клиентов к покупке.

    Проверка идей. Во время разработки нового дизайна случаются споры. Чья идея лучше? Покажет сплит-тестирование, которое проверит гипотезы и решит конфликт мирным путём.

    Увеличение трафика. Произойдёт, если снизить показатель отказов (Bounce Rate), который учитывают поисковые системы при ранжировании сайта. Удобная посадочная страница задержит пользователей дольше — это хороший признак для поисковиков. Пользователям интересно, они остаются на сайте — можно показывать эту страницу чаще.

    Экономия ресурсов. Тест быстрее покажет, какие варианты рабочие, чем споры и проверка по одной версии контента последовательно.

    Новые идеи для будущих кампаний. Поведение пользователей с разными вариантами дизайна — источник для новых инсайтов, иногда неожиданных.

    Минусы

    Большой объём трафика. Для обычного A/B тестирования трафик делится на 2 части, для A/B/n — на несколько равных. Результаты будут значимыми только при достаточном трафике для каждого варианта.

    Проверка только одного элемента. Тест покажет, какой вариант оказался лучше (например, на тёмную кнопку кликали чаще, чем на светлую). Другие факторы, которые повлияли на результат, останутся неизвестными.

    Санкции поисковых систем. При тестировании вариантов дизайна сайта поисковики могут заподозрить вас в клоакинге — поисковом спаме, когда пользователь и поисковая система видят разные варианты страниц.

    Как провести A/B/n тестирование

    1. Определяем проблему

    Ищем, что работает неэффективно или вообще не приносит никаких результатов.

    Например, пользователи редко кликают на кнопку «доптовары» на сайте или не переходят на страницу заказа из email.

    Определят «слабые места» инструменты Google Analytics, вебвизоры и анализ обращений пользователей в техподдержку.

    2. Обозначаем гипотезу

    Гипотеза отражает, какое действие улучшит показатели.

    Например, если изменить цвет кнопки «доптовары» на более яркий, то количество кликов увеличится в 2 раза.

    3. Создаём варианты для теста

    Проверять за один тест можно одну гипотезу.

    Например, для кнопки «доптовары» — это несколько разных цветов: красный, синий, жёлтый. Менять одновременно размер шрифта и положение кнопки уже нельзя.

    Другой вариант — тестировать дизайн полностью.

    4. Проверяем метрики и элементы для теста

    Результаты теста нельзя оценивать без привязки к метрикам: количеству показов, кликов и другим, которые вы планируете улучшать. Инструменты для отслеживания должны работать до начала теста. Не забудьте проверить кнопки, формы и отображение элементов, которые собираетесь тестировать.

    5. Определяем размер выборки

    Для репрезентативного результата нужно определённое количество посетителей сайта, которые увидят вашу страницу. Как его рассчитать? Использовать специальные онлайн-калькуляторы: Optimizely, Driverback и другие.

    Как это работает:

    1. Указываем текущую конверсию.
    2. Вводим в процентах, на сколько хотим повысить показатель (минимальный видимый эффект).

    Например, сейчас конверсия 5%. Мы хотим улучшить её на 10%. Вводим параметры в калькулятор и получаем 30 244 человек — столько нужно уникальных просмотров на каждый вариант.

    Расчет трафика для тестирования

    Пример расчёта трафика для тестирования

    6. Запускаем тестирование

    Важно тестировать все варианты одновременно, а не по отдельности. Результат зависит от времени суток, дня недели, сезонности и других факторов. Остановите тест, когда каждый вариант наберёт нужное количество просмотров.

    7. Считаем результаты и принимаем решение

    Снова возвращаемся к онлайн-калькуляторам. Теперь, чтобы рассчитать статистическую значимость результатов. Для этого указываем количество конверсий по каждому варианту и размер выборки. Калькулятор покажет, отличаются результаты или значительной разницы нет.

    По итогам принимаем решение: внедрять новый дизайн/элемент дизайна/менять контент полностью или начать новое тестирование.

    Что такое MVT-тестирование

    MVT или мультивариантное тестирование проверяет эффективность сразу нескольких комбинаций разных элементов на страницах сайта и на других площадках. MVT тестирование покажет, какое сочетание даёт больше конверсий.

    Тестируют такие же элементы, как в A/B/n тестах, но более детально и в комплексе с другими. MVT не сравнивает дизайн полностью.

    Например, мы хотим проверить эффективность кнопки CTA. Есть два варианта «заказать» и «купить», для которых используем красный или жёлтый цвет, а также полужирный или обычный шрифт. Ещё под кнопкой два варианта подписи: «сейчас» или «товар просматривают 5 человек». Получаем 16 вариантов.

    MVT тестирование

    Пример вариантов для MVT тестирования

    MVT тестирование: преимущества и недостатки

    Плюсы

    Увеличение конверсии. Многомерное тестирование продемонстрирует, на какое сочетание элементов аудитория реагирует лучше — кликает на товары и покупает или совершает другую конверсию (например, подписку).

    Оптимизация без глобальных перемен. Тест улучшает показатели без полного редизайна.

    Экономия времени. MVT test проверяет несколько разных вариантов переменных одновременно и их взаимодействие.

    Минусы

    Нужно много трафика. С количеством комбинаций увеличивается и аудитория, которая должна их увидеть. Поэтому MVT получится провести только при:

    • достаточной базе контактов (например, для теста писем email-рассылки и других);
    • большом трафике на сайте, если проверяем эффективность его страниц.

    Большие затраты по времени. Придётся ждать, пока наберётся нужное количество просмотров.

    Возможность ложных срабатываний. Чем больше вариантов, тем выше риск случайных кликов.

    Как провести MVT тестирование

    Самыми распространёнными методами MVT-тестирования считаются полнофакторный и дробный факторный.

    Полнофакторный

    Проверяет все сочетания с одинаковым количеством трафика. Статистически точный метод, но требует огромного трафика. Как это работает? Тестируются несколько факторов. Возьмём A, B, C, где: A — кнопка CTA; B — надпись на кнопке; C — фон раздела, где находится кнопка.

    По полнофакторному методу каждый фактор имеет только два варианта (обозначим +1 и -1).

    Например, для фактора A кнопка CTA жёлтая — +1, а оранжевая будет -1.

    Дальше все варианты факторов комбинируются между собой. Как это выглядит наглядно:

    Полнофакторный метод тестирования

    Дробный факторный метод

    Принцип разделения на факторы и их варианты такой же, как у полнофакторного метода. Но тестируются только некоторые варианты сочетаний. Точность метода ниже, но нужно меньше трафика.

    Дробный факторный метод тестирования

    Серым обозначены варианты для дробного факторного теста

    Этапы MVT тестирования

    Последовательность действий для MVT тестирования совпадает с A/B/n (смотрите подробнее выше):

    1. Постановка проблемы. Какие трудности есть у пользователя на сайте? Какой раздел сайта работает неэффективно?

    2. Обозначение гипотезы. Сможет ли изменение цвета, размера и шрифта кнопки увеличить конверсию?

    3. Создание вариантов для тестирования.

    4. Проверка метрик и работоспособности элементов для теста. Все ли необходимые метрики отслеживаются? Все элементы сайта/email и других объектов (кнопки, формы) работают корректно?

    5. Определение размер выборки. Используем один из онлайн-калькуляторов. Например, VWO.

    6. Запуск тестирования. Проводим тест до момента, когда наберётся нужный трафик.

    7. Анализ результатов. Сначала проверяем их значимость — используем онлайн-калькуляторы. Дальше делаем выводы: меняем сайт или запускаем новый тест.

    Сходства и различия A/B/n и MVT

    У обоих видов тестирования есть общие признаки:

    • тестирование 2+ вариантов элементов на сайте с помощью распределения трафика на сайте;
    • все варианты проверяются одновременно;
    • помогают повысить конверсию;
    • совпадают по этапам тестирования;
    • требуют достаточного количества трафика.

    Несмотря на сходство у A/B/n и MVT есть значимые отличия:

    A/B/nMVT
    Объект тестированияОдин элемент или вся форма. Может быть отличие, например, только по цвету фона: красный, синий, белый. Или тестируются полностью разные дизайны страниц сайта.Комбинации разных элементов.
    НазначениеПроверка идей для радикальных изменений.Проверка идей для оптимизации после глобальных изменений.
    Затраты по времениДостаточно быстрый результат.Долгий цикл из-за большего количества элементов.

    Altcraft Platform для A/B/n-тестирования

    Провести A/B/n и MVT-тестирование без современных инструментов сложно. В Altcraft Platform доступен вид теста A/B/n для кампаний email, sms, push и других подключенных каналов.

    Возможности платформы для A/B/n:

    • Автоматизированное распределение аудитории на все варианты для теста.
    • Автоматизация выбора более эффективного варианта по количеству открытых сообщений или по количеству кликов. Также доступен ручной выбор по аналитическим отчётам.
    • Возможность провести тест во всех каналах, которые подключены к платформе.
    • Доступно до 16 вариантов дизайна шаблонов сообщений.

    Резюме

    • У A/B/n и MVT тестов одинаковая цель — повысить количество конверсий. Но они отличаются по объекту тестирования. A/B/n проверяет несколько вариантов одного элемента контента, MVT тестирует эффективность сочетаний разных элементов.
    • Проводить MVT тесты разумно как продолжение A/B/n, а не отдельно. A/B/n-тестирование делают для глобальных изменений, MVT для оптимизации после.
    • Для обоих видов тестирования нужен большой объём трафика — это может увеличить время тестирования. Но результат того стоит — решения по изменениям принимаются на основе данных, а не мнений маркетологов. Такой подход экономит время команды на поиски эффективного контента и снижает риски ошибок.

    Источник: altcraft.com

Рейтинг
( Пока оценок нет )
Загрузка ...
Бизнес для женщин