В российском IT-сегменте существует стереотип, что стадия тестирования продуктов – нечто необязательное и работу тестировщиков могут сделать пользователи, которые постоянно находят ошибки в работе приложений.
Причин появления этого стереотипа множество:
– бизнес не понимает ценности тестирования, потому что не может «пощупать» результат этого процесса;
– безоговорочное доверие заказчиков крутой команде разработчиков;
– стремление заказчика тестировать продукт самостоятельно или делегировать на product-менеджеров;
– нежелание затягивать процесс разработки, а следовательно, тратить больше денег;
– заказчик не понимает вариативность девайсов, разрешений, размеров и пропорций экранов, операционных систем, браузеров и прочего.
Какие стандарты тестирования существуют?
Этот вопрос стоит исследовать не с точки зрения формальных нормативов, а на практике, где главный принцип – налаженные бизнес-процессы. Вот, как их необходимо выстраивать:
МИНУСЫ РАБОТЫ ТЕСТИРОВЩИКОМ. Кому эта работа НЕ подойдет?
– привлекать команду тестировщиков на ранних стадиях работы над продуктом (на этапе ТЗ или кликабельного прототипа);
– составлять тестовую документацию;
– фиксировать и описывать обнаруженные дефекты (это важно для разработчиков и всей команды менеджеров);
– грамотно планировать тестирование, подбирать специалистов и форматы занятости специалистов;
– оснастить команду тестировщиков всем необходимым оборудованием;
– принимая решения, руководствоваться исключительно здравым смыслом.
Доступные инструменты и системы управления
Без инструментария говорить о системной работе сложно. Этот тезис относится к любым сферам создания digital-продуктов, но в тестирование его влияние гораздо сильнее.
Необходимые инструменты и утилиты, с которыми должен уметь работать компетентный тестировщик:
– SQL;
– HTTP;
– swagger;
– postman;
– insomnia;
– SOAP UI;
– charles;
– fiddler;
– android studio; x-code;
– dev-tools;
— TMS (test management system) и BTS (bug tracking system).
Профессиональное независимое тестирование, проводящееся ради качества продуктов не может осуществляться без перечисленных инструментов и систем управления, а также без опыта работы с ними.
Как задокументировать результаты тестирования?
Ни одна работа над проектом, что в digital, что в других сферах, не начинается без разработки технического задания. В тестировании онлайн-продуктов процесс также должен стартовать с составления документации.
Создание полной ТД (технической документации) необходимо для последующих релизов и техподдержки. В нее должны входить:
– стратегия тестирования;
– тест-план;
– чек-лист;
– тест-кейс;
– сценарии кейсов;
– описание найденных ошибок.
Как и любой качественный процесс, разработка ТД требует соответствующих затрат, при этом часто заказчики (и даже коллеги) не понимают его важности и урезают бюджеты, чего делать не стоит.
С чего начать бизнес? Тестирование бизнес идеи. Тест ниши
Актуальная ТД позволяет быстро масштабировать команду, проводить ротацию кадров, сокращать время интеграции новых людей в проект, а от проработки самой документации напрямую зависит полнота функциональности продукта.
Почему тестирование должно быть независимым?
Преимущества аутсорсинга, помимо оптимизации процессов, обширны. В контексте тестирования их список еще внушительнее:
– исключение эффект «замыленного глаза» за счет усиления команды заказчика сотрудниками сторонней компании;
– организационная независимость аутсорс-команд позволяет избежать давления «подчиненности»;
– можно провести независимый аудит продукта;
– возможность привлечь дополнительный опыт к имеющимся в команде ресурсам;
– качественный PR-ход. Проект тестирует независимая команда, что повышает уровень доверия к продукту и его косвенную стоимость;
– заказчик снимает с себя ответственность за качество продукта, отдавая тестирование на откуп аутсорс-команде, получая лишь готовый результат.
При необходимости, провести тестирование любых видов, составить техническую документацию или провести независимый аудит может IT Test. Эта компания занимается разработкой, тестированием и дизайном сложных отраслевых IT-решений с уникальным опытом в области создания криптовалютных, E-commerce и высоконагруженных сервисов, безопасных корпоративных отраслевых порталов и data-хранилищ, систем машинного обучения, web/mobile/desktop-приложений и платформ. Специалисты IT Test оказывают услуги полного цикла, а потому заказчику нужно всего лишь оставить заявку, всем остальным займутся профи.
Источник: brodude.ru
Как тестировать идеи
Похоже, наступило время поиска новых идей и пересмотра стратегий. Готовы к реализации бизнес-идеи? Сначала проверьте ее. Не полагайтесь на чужой опыт, на интуицию и на чей-либо авторитет – просто сделайте все необходимое, чтобы убедиться, что идея способна успешно реализоваться. Существуют разные способы проверки идей, сейчас мы их рассмотрим.
Как тестировать идеи. Блог ManGO! Games
Пока не вникаешь в детали, все кажется простым и понятным, однако то, что кажется элементарным, может удивить вас своей сложностью и запутанностью. Только разобравшись со всеми нюансами новой идеи, только когда сложное снова покажется понятным и стройным, простым, но уже не туманным, можно начинать реализацию.
Уровень и динамика популярности идеи в сети
У вас может появиться идея разработать новый продукт, рассказать о чем-то в своем блоге или создать стартап. Сначала стоит хотя бы бегло проверить, насколько известна ваша идея в сети и насколько она там популярна. Выводы делать только вам, а цифры и графики для размышлений должны быть перед глазами.
Пожалуй, сначала стоит заглянуть в сервис «Google Trends», где самый популярный в мире поисковик делится с нами спросом в сети на те или иные явления и запросы. Ссылка на сервис: www.google.ru/trends.
Возьмем для примера тематику ManGO! Games. Допустим, нам важно узнать, насколько интересны пользователям сети игры по видеосвязи. Указываем в поле «поисковый запрос или тема» интересующую фразу и видим, насколько популярен в сети этот запрос в динамике – в какие дни или месяцы этим интересовались и насколько.
Как это работает. Если в какой-то день конкретно этот запрос запросили самое большое количество раз – это количество сервисом взято за 100%. Что касается запроса «игры по видеосвязи», то пик его популярности произошел в апреле 2020 года. Это вполне логично – ведь именно в это время начался карантин. Чтобы это узнать, необходимо установить фильтр: с 2004 года до этого времени.
При необходимости можно настроить остальные поля – регион, тематика, тип поиска и другое.
Если захотеть узнать, к примеру, насколько людей интересует фасилитация процесса принятия решений или поиска идей, то введя в то же поле слово «фасилитация», можно сделать для себя открытие: оказывается, пик популярности этого поискового слова пришелся на 2005 год и фасилитация – это не свежий тренд, а давно существующий метод решения сложных бизнес-задач.
Там же есть возможность сравнить две или несколько фраз. К примеру, если мы сравним наши два запроса, то окажется, что метод фасилитации за последние 15 лет интересовал пользователей намного больше, чем деловые игры на расстоянии.
Таким же образом можно убедиться, что деловые игры интересуют пользователей сети еще больше, чем два предыдущих запроса. Точно так же вы можете проверить популярность интересующей вас тематики.
Изучение трендов поможет сориентироваться в выборе направления. Следующим шагом может быть уточнение выбранного направления. Снова воспользуемся поисковиком, на этот раз сервисом Яндекса: wordstat.yandex.ru. Здесь можно прописать в поле фразу и увидеть, что на эту тему искали в сети. Результаты расширят ваши предположения относительно контекста использования вашей фразы.
Customer Development
Один из способов тестирования идей – Customer Development. Это проверка бизнес-идеи на реальных покупателях.
Автор метода – Стив Бланк, американский предприниматель, а появилась методика в 1900-х годах. В основе метода лежит проблема покупателя, которую должен решить новый продукт. Суть метода – в проведении интервью с представителями целевой аудитории для проверки гипотез.
Для этого нужно определиться с аудиторией и тем, как именно продукт удовлетворяет ее потребности. Кроме того, нужно изучить, как другие компании уже сейчас решают эту проблему потребителей, ведь вам придется с ними конкурировать. Это позволит составить гипотезы, которые и нужно будет проверить.
К примеру, вы решили, что конкуренты производят чайники с менее удобной ручкой или табуретки, которые труднее вписать в актуальный интерьер. Предлагая людям на выбор разные варианты, вы сможете убедиться в вашей гипотезе, уточняя, выбирают ли ваш вариант и по какой причине. В противном случае можно будет смело отклонить ложную гипотезу.
Гипотез может быть несколько. Перед проведением интервью важно определиться с критериями успешности. К примеру, вы можете решить, что гипотезу можно считать подтвержденной, если 50% опрошенных подтвердили, что проблема существует или что ваш вариант лучше существующих ее решает.
В интервью нужно включить открытые вопросы. Это вопросы, предполагающие развернутый ответ, а не ответ «Да» или «Нет». Здесь больше о типах вопросов. Задавайте вопросы о прошлом опыте, а не о планах на будущее. Важно то, что реально, а не что желаемо.
Важно также спрашивать об идее, а не «продавать» ее. Не забудьте выяснить, сколько люди готовы платить за ваш продукт. Важно оставаться нейтральным и не затягивать интервью – не более 30 минут. Лучше сосредоточиться не на длительности интервью, а на количестве опрошенных. От количества зависит точность исследования – чем больше участников опроса, тем лучше.
Только после подтверждения гипотезы можно начинать создавать свой первый минимально жизнеспособный продукт (MVP). Это может быть элементарный лендинг для сбора запросов, который покажет, сколько в реальности людей заинтересовались вашим предложением.
Опрос можно организовать в оффлайне или в сети, самостоятельно или привлекая компании, занимающиеся этим профессионально. Поскольку это требует средств, серьезно подойдите к подготовке, особенно к поиску идей. Подключайте к обсуждению всю команду, желательно профессионально фасилитировать это мероприятие для максимальной эффективности. Фасилитация позволит отбросить непродуманные идеи еще на этапе их сбора, а после проверки и взятия в разработку быть уверенным, что вся команда поддерживает эти идеи, считает их реальными и жаждет их внедрения. Так вы предотвратите риски следующих этапов вашего проекта.
Бережливый стартап
«Бережливый стартап» – так называется движение, идеи которого лежат в основе еще одного популярного метода тестирования идей. Создателем движения выступает еще один американский предприниматель Эрик Райс.
Основная идея – продукт должен быть не просто интересным, но еще и таким, чтоб его хотелось купить. Есть мнение, что нас привлекает все необычное, новое и нестандартное, но продает – классическое, консервативное и серьезное. Продукт должен быть не только привлекающим, но и продаваемым. Метод тестирования идеи основан на проверке, насколько его готовы именно купить.
Чтобы проверить идею таким образом, необходимо начать продавать, пусть частично разработанный продукт или что-либо, связанное с идеей, определив предварительно целевую аудиторию, составив гипотезы и обозначив период тестирования. Продавать можно начать в офлайн-точке, на готовой платформе для продаж или с помощью собственного лендинга.
Тест Диснея
Еще один метод – это собственный метод Диснея под названием Imagineering. Суть в том, что идеи могут быть фантастическими и очень красивыми, но тестировать их нужно, исходя из реальной ситуации. Это тестирование на реалистичность идеи, оно дает ответ на вопрос, удастся ли довести свою идею до полноценной реализации.
Идеи должны быть земными и рабочими. Поэтому тестирование предполагает проверить идею с точки зрения мечтателя, реалиста и критика. Всех по очереди.
Подход немного похож на знаменитый метод 6 шляп и предполагает 3 стадии тестирования. Первая стадия – мечтателя. На этой стадии фиксируются самые разные мысли, включая невероятные и абсурдные. Допускается все. На стадии реалиста ведутся размышления о работоспособности модели.
На этой стадии ищут ответы на вопросы, что понадобится для воплощения идеи, существует ли подобная реализация, кто это делает.
Третья стадия приглашает к обсуждению «критика». На этой стадии разбирают, какие трудности нас ждут при реализации идеи, нужна ли идея вообще и кому.
Дисней тестировал таким образом идею в разных комнатах, но организовать это можно по-разному – и путем обсуждения, и путем записывания мыслей на разные листы бумаги. В качестве реалистов, романтиков и критиков могут выступать разные люди. Метод эффективен не только при проверке гипотез, но и при их создании.
Тест первой мили
Автор – Энтони Скотт, основатель американской компании Innosight, которая занимается консалтингом в сфере инвестиций и инноваций. Суть метода – изучение опыта конкурентов и идеи с точки зрения конкурентной среды. Постарайтесь найти конкурентов если не на отечественном, то на зарубежном рынке.
Сначала находим конкурентов и сравниваем наш продукт с существующими, потом отвечаем на вопрос: как изменится рынок с появлением на нем нашего продукта, кто будет с нами конкурировать и с какими проблемами мы можем столкнуться.
После этого нужно создать модель монетизации, определив объем целевой аудитории, ценовую политику, потребительскую активность.
И наконец, самое интересное – звонки. Звоним и предлагаем потенциальным клиентам товар, узнавая, насколько наши предположения совпадают с реальностью. Иногда достаточно сделать один «холодный» звонок потенциальному клиенту или создать опрос в соцсети, чтобы сделать важные выводы и корректировки своей идеи. Предприниматели сознаются, что одна из самых важных ошибок стартапов – не выходить за пределы лаборатории и не пытаться узнать, как относятся к идее за ее пределами.
Тестирование идеи таким образом можно провести в формате фокус-группы или кофе-теста.
Все перечисленные методы не взаимозаменяют, а дополняют друг друга. Можно использовать их по очереди и комбинировать.
Источник: mangogames.ru
Что такое A/B-тестирование (сплит-тестирование)? Когда и зачем вам проводить A/B-тестирование?
Узнайте как A/B-тест позволяет нащупать самое эффективное решение в ваших маркетинговых стратегиях. Но сначала подпишитесь на наш Телеграм и узнавайте такие вещи раньше остальных.
Что такое A/B-тестирование (сплит-тестирование)?
A/B-тестирование — это череда экспериментов, в ходе которых сравниваются две версии чего-либо, чтобы определить какая из версий более эффективна («лучше»).
В маркетинге обычно сравнивают два разных варианта контента в мейл-рассылке, медийной рекламе, призыве к действию на странице (CTA) или в любом другом маркетинговом элементе.
A/B-тест ещё называют сплит-тестом. По сути это метод оптимизации, который помогает вам принимать решения на основе реакции желаемой аудитории.
Эти тесты можно использовать для сравнения эффективности разного текста, цвета, графики, формата, ключевых слов и многого другого.
A/B-тестирование — важный процесс для компаний, которые повышают рентабельность инвестиций в свою стратегию цифрового маркетинга.
Почему вы должны A/B-тестировать свои идеи
A/B-тесты — это единственный способ точно узнать, как ваши маркетинговые гипотезы влияют на поведение ваших клиентов в интернете.
Они не только предоставляют вам информацию о поведении и предпочтениях пользователей, но и позволяют осознанно и систематически вносить изменения в ваш контент. Сплит-тест — это единичные изменения элементов и анализ результатов.
Изменяя одну переменную за раз, вы сохраняете контроль над этим конкретным элементом и над всем тестом в целом. Вы точно знаете «откуда дует ветер». Вы уверены, что разница в кликах, лайках, подписках или покупках вызвана вашей манипуляцией с этим элементом.
Таким образом подчеркнём, что А/В-тест валиден только если вы тестируете какое-то одно изменение. Если вы поменяли несколько параметров, ни одна живая душа не скажет вам что именно повлияло на результат теста. А если вы не поняли что именно сработало, то зачем такой тест?
Поэтому меняем строго один параметр и тщательно анализируем что будет происходить.
Что даёт статистика сплит-теста
Собранная A/B-тестированием статистика позволяет:
- Оптимизировать каждый элемент контента, которым вы оперируете, чтобы получить больше кликов и снизить показатель отказов.
- Собрать данные о том, как себя ведёт и что предпочитает ваша аудитории.
- Повысить рентабельность инвестиций в онлайн-маркетинг.
- Согласовать свой контент с ожиданиями пользователей.
Сплит-тестирование важно, потому что оно оптимизирует коэффициент конверсии.
Например, VWO утверждает, что компании, которые проводят A/B-тестирование своих сайтов, увеличивают свой средний доход на одного посетителя на 50% .
Тестируют не только компоненты сайта (хотя, нам, как веб-студии, это наиболее интересно). Вы можете использовать тесты A/B для оптимизации коэффициента конверсии платной рекламы, электронных писем и других каналов цифрового маркетинга.
Как работает A/B-тестирование в маркетинге
Чтобы провести сплит-тестирование в маркетинге, вам нужно сравнить две (или более) версии контента и проанализировать результаты.
Первая версия называется «контрольной». Это оригинальная версия контента. Остальные версии ничем не отличаются от оригинала, кроме одного элемента.
Вы показываете каждую из версий контента своей целевой аудитории, чтобы определить, какая из них более эффективна с точки зрения кликов, показателя отказов, регистраций или любых других желаемых действий.
Изменяя только один элемент, вы контролируете тест и можете быть уверены, что любые различия в результатах вызваны только этим изолированным изменением.
Но как узнать, что вы завершили свой тест? Вам не выгодно прерывать тест слишком рано, иначе ваши результаты будут неточными. А гоняя тест слишком долго, вы напрасно потратите время и ресурсы.
Точное количество людей, которое вам нужно для обоснованного теста, зависит от размера вашего бизнеса. Мы рекомендуем протестировать не менее 1000 уникальных пользователей.
Запуск и этапы A/B-тестирования
Согласно научному методу, используемому экспериментаторами в других областях, процесс A/B-тестирования включает в себя определенный набор шагов, которые необходимо выполнить для получения достоверной информации.
Возникает соблазн поторопиться или пропустить какие-то шаги. Не поддавайтесь искушению и тщательно следуйте процессу, иначе вы похороните исследование.
Вот этапы A/B-тестирования:
1. Собирайте информацию из ваших инструментов аналитики
Одним из основных преимуществ онлайн-маркетинга является то, что успехи ваших кампаний отслеживаются напрямую — у вас есть много данных о том, как клиенты реагируют на ваш контент:
- Количество клиентов, которые просматривали, нажимали или взаимодействовали с вашими страницами.
- Сколько времени проводят люди на вашем сайте, какие страницы они посещают и какой путь избирают.
- Процент людей, которые отвечают на ваши электронные письма и реагируют на контент в социальных сетях.
- Коэффициент конверсии вашей медийной, поисковой и таргетированной рекламы.
- Рейтинг вашего контента в Google.
Получив эту информацию, переходите к следующему шагу.
2. Определите что будете улучшать и поставьте цели
Теперь, когда перед вами куча данных, пришло время разобраться в них и определить, куда улучшать маркетинговую стратегию.
Допустим, ваш бизнес повышает узнаваемость бренда и вам нужно чаще мелькать в социальных сетях. Или нужно увеличить количество людей, которые нажимают на кнопку подписки на мейл-рассылку.
3. Разработайте гипотезу, что поможет вам достичь этих целей
Посмотрите на свою статистику. Какие-то элементы вашего сайта работают лучше, какие-то хуже. Вам нужно выявить закономерности и плясать уже от них. Вам нужна идея, почему один контент работает лучше, чем другой.
С такой идеей на руках вы разработаете гипотезу для своего теста — обоснованное предположение о том, что произойдет, если вы что-то поменяете на своём сайте.
По сути, вы предполагаете, что: « произойдет, когда мы изменим ».
4. Создайте дубли вашего контента с изменённым элементом
Копии будут основаны на вашей гипотезе.
Например, вы предположили, что показатель кликабельности вашего медийного объявления увеличится, если вы переключитесь с изображения с человеком на изображение с продуктом.
5. Проведите сплит-тест
Теперь, когда у вас есть контрольная и вариантная версии вашего контента, «А» и «Б», вы можете запустить тест, показав контент двум разным группам вашей общей аудитории.
Тестовые ситуации должны быть как можно более похожими для получения наиболее точных результатов:
- Планируйте посты A и B в одно и то же время дня.
- Запускайте рекламные кампании с тем же бюджетом и той же продолжительностью.
- Гоните трафик по одним и тем же ключевым словам.
A/B-тесты проводят до тех пор, пока не достигнут определенного размера выборки или не пройдёт указанный период времени.
6. Измерьте и анализируйте результаты
Для выполнения вашего A/B-теста у вас должны быть инструменты, чтобы мониторить производительность и сохранять результаты для анализа.
В социальных сетях есть инструментов аналитики, встроенные в платформы. Метрики от Яндекса и Google понадобятся вам для SEO-тестов.
7. Повторяйте, пока цели не будут достигнуты
Вы можете первым же A/B-тестом добиться однозначного результата. Но это редкость. Чаще вам придется скорректировать свою гипотезу и повторить процесс тестирования с новыми вариантами.
Вам необходимо выполнить несколько итераций, чтобы убедиться, что вы движетесь к своим маркетинговым целям.
Иногда вам придётся даже скорректировать свои общие цели, если они нереалистично высоки.
Анализ результатов A/B-тестирования
Настройка и проведение сплит-тестов — это полдела: вам нужно правильно проанализировать результаты, чтобы извлечь из них максимальную пользу.
Для этого необходимо выполнить ряд шагов:
- Убедитесь, что у вас валидная выборка, чтобы моделировать вашу аудиторию.
- Сравните эффективность контрольного и вариантного контента по маркетинговой метрике.
- Определите, какая часть показала себя лучше и как это согласуется с вашей гипотезой.
И если ваша гипотеза окажется неверной, не переживайте! А/В-тест, который проходит «неправильно», уточняет вашу гипотезу и приближает вас на один шаг к победе.
Что вы можете A/B-тестировать?
Используйте A/B-тестирование для оптимизации любого создаваемого вами маркетингового онлайн-контента. Просто последовательно следуйте процессу A/B-тестирования и вы улучшите свои результаты, чем бы ни занимались в данный момент.
Вот что тестируют опытные маркетологи:
Сплит-тестирование контекстной рекламы
Реклама с оплатой за клик — один из наиболее распространенных типов контента, который маркетологи тестируют с помощью A/B. К ним относятся поисковые объявления в поисковой выдаче, медийные объявления в КМС и платная реклама в социальных сетях.
Что тестируют в контекстной рекламе:
- Заголовки и описания поисковых объявлений.
- Цвет, изображения и текст, используемые в медийных объявлениях.
- Цвет, изображения и текст, используемые в платной рекламе в социальных сетях.
Например, интернет-магазин, продает кроссовки и запускает контекстную рекламу новой водозащищённой модели. Они могут провести A/B-тестирование заголовка объявления, чтобы определить, какой из них наиболее эффективен для их целевой аудитории.
