A/Б-тесты

Что такое A/Б-тесты

А/Б-тестирование — это вариант маркетингового исследования, цель которого сравнить две версии рекламного объявления, лендинга, элемента сайта, которые отличаются одним параметром.

А/Б-тест определяет, какой вариант больше привлекает целевую аудиторию, приносит наибольшую конверсию или прибыль.

А/Б-тестирование иногда называют сплит-тестом, потому что аудиторию «сплитят», то есть делят на части. Например, половине показывают один вариант картинки на лендинге, второй — другой вариант.

Кому и для чего нужны А/Б-тесты

Тесты нужны, когда нужно проверить гипотезу. Проще и дешевле не тратить усилия и бюджет на запуск фичи, рекламной кампании, нового лендинга, если нет цифр и метрик, которые подтверждают необходимость фичи, кампании, лендинга. Получить цифры и метрики можно с помощью А/Б-тестов.

Опытный маркетолог не предложит сразу запускать новый рекламный проект, если нет доказательной базы, что он повлияет на метрики — увеличит конверсию, принесёт прибыль. Юзеры разного статуса, пола, возраста, из разных регионов в разное время могут вести себя по-разному — в один момент кликнуть по рекламе, в другой не кликнуть по такому же объявлению. На поведение пользователей влияет множество факторов, и только с помощью тестов можно учесть большинство из них. Результаты тестов покажут, какие варианты наиболее привлекательные.

Для проведения сплит-тестирования не нужны особые знания и навыки. Это простой инструмент, который может использовать любой сотрудник компании. Чаще всего такие тесты запускают:

• маркетологи,
• аналитики,
• продакт-менеджеры,
• дизайнеры,
• SEO-специалисты,
• UX-исследователи.

Зачем проводят сплит-тесты

1. Быстрее проверять гипотезы. Если не устраивает конверсия в продажи, можно поменять весь сайт. Это долго, дорого и не гарантирует роста конверсии. А/Б-тест поможет сэкономить и получить результат за пару недель — изменяйте элементы, которые вызывают сомнения, например, кнопки или основные тексты, настраивайте тестирование и отслеживайте изменение показателей.

2. Принимать решения на основе данных, а не интуиции. Бывает так, что опыт эксперта не совпадает со взглядами целевой аудитории. Используйте экспертизу для построения гипотез, тестируйте, чтобы убедиться в их эффективности.

3. Лучше узнавать свою аудиторию. Тестирование поможет определить, как работать с аудиторией, что ей больше всего нравится, что привлекает внимание и стимулирует продажи. Результаты тестов помогут в будущих проектах. Например, вы узнали, что у баннеров с отзывами клиентов высокая конверсия. В дальнейшем будете делать так все баннеры — их лучше воспринимает ваша аудитория.

Что можно исследовать с помощью А/Б-тестов

В маркетинге тестируют кампании и элементы коммуникации — в лендингах, в рассылках, на сайтах, в рекламных объявлениях:

• кнопки (CTA, внешний вид, расположение);
• заголовки и описания (в статье, на лендинге, в постах, в рассылках);
• формы обратной связи (дизайн, расположение, CTA);
• дизайн страницы (расположение элементов, цвета, стиль);
• изображения продуктов и другие.

Для проведения корректного A/B-тестирования нужно тестировать не больше одной гипотезы, одного изменения за раз. Например, тестируем расположение кнопки на баннере. Хороший тест — поменять только расположение кнопки, так мы получим точные данные, как одно изменение повлияло на нужные нам метрики. Если поменять не только расположение, но и дизайн картинки, текст, невозможно будет понять, что именно привело к конкретному итогу.

Какие показатели улучшают после А/Б-теста

Конверсия

Одна из самых популярных метрик для сплит-тестов. Конверсия показывает количество пользователей, которые совершили нужное целевое действие. Например, оформили заказ, оставили заявку, скачали приложение. Чем выше конверсия, тем лучше сработала реклама, креатив, лендинг и т.д.

Коэффициент конверсии используют как основную метрику, когда тестируют, как:

• заполняется форма регистрации на сайте;
• совершается покупка, оформляется заказ;
• взаимодействуют с каким-либо инструментом — например, виджет обратного звонка, калькулятор и т.д.;
• оформляют подписку и т.д.

Поведенческие метрики

Это ряд метрик, которые помогают понять, как посетители взаимодействуют с сайтом или приложением. Отслеживая эти метрики, понимаешь, насколько интересен посетителям сайт и продукт, что они делают перед тем, как совершить покупку, какие барьеры мешают выполнить целевое действие. Когда проводят А/Б-тесты, могут замерять:

• время, проведённое на сайте;
• глубину просмотра определённой страницы;
• показатель отказов;
• процент постоянных посетителей;
• повторные сессии;
• поведение на сайте.

С помощью поведенческих факторов можно проводить тесты, чтобы сделать интерфейс более удобным, понятным, контент полезным и интересным. В этом случае пользователи активнее совершают покупки и оформляют заявки.

Финансовые метрики

Это показатели, которые напрямую влияют на состояние бизнеса. Финансовые показатели нечасто оценивают в сплит-тестах, предпочитая смотреть на конверсию. Но конверсия — ещё не покупка, не прибыль. Более эффективно проводить А/Б-тесты, оценивая финансовые метрики — например:

• средний чек;
• прибыль;
• выручку;
• окупаемость рекламы (ROMI);
• стоимость привлечения клиентов (CAC).

Рассказали про 6 простых бизнес-метрик, которые важно отслеживать для повышения прибыли.

Этапы A/B-тестирования

Шаг 1. Построение гипотезы

Сплит-тесты проводят, чтобы найти решения для какой-то проблемы. Понимая эту проблему, можно сформулировать гипотезу — предположить, что именно произойдёт в результате внедрения изменений.

Сформировать корректную гипотезу поможет метод SMART. Это значит, что гипотеза должна быть:

	Характеристика гипотезы	Пример	Антипример
Specific	Конкретная	Повысить конверсию в заявку	Больше зарабатывать
Measurable	Измеримая	Повысить конверсию в заявку на 10%	Получать больше лидов
Achievable	Достижимая	Увеличить продажи на 15%	Увеличить продажи на 1500%
Relevant	Значимая	Внедрение виджета на сайт увеличит количество заявок, это вписывается в стратегию компании	Купить рекламу у популярного блогера — это не входит в стратегию компании
Time bound	Ограниченная по времени	Увеличить конверсию с лендинга к концу квартала	Повысить выручку с рекламы

Шаг 2. Выбор метрик и инструментов

Подключите сервис для A/B-тестирования. Например, если исследуете изменение на лендинге или посадочной, понадобится доступ администратора к сайту. Чтобы связать сервис тестирования с нужной страницей, необходимо добавить код события в код страницы.

Определитесь с метриками — не стоит выбирать несколько и оценивать результаты теста по каждой. Выберите основной показатель, по которому будете делать вывод — например, конверсия в покупку или прибыль. В качестве дополнительных метрик можно добавить 203 показателя — они дадут дополнительную информацию, но по ним не стоит принимать решение о результатах тестирования.

Укажите оставшиеся параметры для проведения A/B-тестирования:

• длительность — сколько времени продлится исследование;
• как поделить аудиторию — определите первую (А) и вторую (В) группы, кому и какие изменения во время теста будут отображаться;
• минимальный размер выборки — посчитайте с помощью калькулятора достоверности сплит-тестирования.

Шаг 3. Проведение теста

Обычно гипотезы исследуют в течение двух недель. Этого времени хватит, чтобы собрать нужное количество информации для теста.

Что учесть во время проведения теста:

• Не останавливайте исследование, если с первых же дней определился лидер. Статистика лишь начала собираться, пользователи только привыкают к нововведениям и изменениям. Их мнение может измениться к концу эксперимента.
• Отслеживайте метрики в процессе — если показатели одной из группы сильно маленькие или равны 0%, стоит проверить, всё ли корректно работает у этой группы, нет ли ошибки.

Шаг 4. Аналитика результатов

Тест завершился в срок, статистика собрана. Осталось её проанализировать. Прежде чем делать выводы, стоит определить показатели с высокой статистической значимостью от случайных изменений.

Для этого можно воспользоваться калькулятором — если показатели будут в рамках погрешности, он подсветит, что статистическая значимость отсутствует.

Сервисы для A/B-тестирования умеют считать статистическую значимость самостоятельно. Инструмент для исследования в Roistat чётко подсветит результаты тестирования:

Шаг 5. Формирование выводов

По итогам теста вас ждут один из двух выводов:

1. Гипотеза не оправдалась — версия А выиграла или между версиями не оказалось статически значимой разницы. Это значит, что масштабировать гипотезу не стоит — особого эффекта это не принесёт.

Чтобы разобраться в причинах провала гипотезы, стоит провести исследование пользователей с целью определить, почему изменения не сработали так, как ожидалось. Такая работа поможет собрать материалы для будущих тестов.

2. Гипотеза подтвердилась — версия B победила. Идею из гипотезы можно масштабировать и тестировать на всей аудитории, чтобы получить новые результаты о её эффективности.

Инструменты A/B-тестирования

A/B-тесты Roistat

Roistat — аналитическая платформа, которая помогает повысить эффективность маркетинга. C сервисом «А/Б-тесты» от Roistat легко самостоятельно исследовать гипотезы, тестировать посадочные страницы, рассчитывая прибыльность каждого варианта. Можно протестировать любой элемент сайта или лендинга и отследить не только конверсию в клик, но и бизнес-метрики — выручку, прибыль, ROI и т.д.

В Roistat можно анализировать результаты сплит-тестов, оценивая метрики по всей воронке. Это поможет определить варианты интерфейса баннеров, посадочных и лендингов, которые помогают привлекать больше заявок и выручки.

Бесплатные инструменты помогают оценить тесты по поведенческим метрикам — конверсия, CTR, OR (Open Rate, коэффициент открываемости). Бизнесу эти данные ничего не говорят — компании полезнее знать, какой вариант в тесте принёс больше прибыли.

Понять итоги тестирования по выручке, прибыли и других бизнес-метриках можно в инструменте «А/Б тесты» от Roistat. Он покажет больше данных по тестам — сколько прибыли принёс каждый вариант, какая была конверсия в заявки и в покупку, какой средний чек. 

Как провести А/Б-тест в Roistat

1. Определить, что нужно улучшить. Проще формировать цель через показатели — какой вариант поможет увеличить конверсию сайта в заявку.

2. Разработать гипотезу — что тестировать и зачем. Предполагаем, какой элемент нужно заменить и почему, какие результаты ожидаем получить.

3. Настроить тест в Roistat. Открываем сервис, переходим в главное меню и выбираем пункт А/Б-тесты. Мы протестируем стили — визуальную часть сайта или лендинга. Кликаем «Создать тест стилей».

Появляется окно с настройками.

Указываем название теста и прописываем CSS-код — для исходного варианта и для версии 1

Нажимаем «Посмотреть», чтобы проверить, как будут отображаться каждый из вариантов в тесте.

Если всё в порядке, кликаем «Создать тест».

4. Указать продолжительность теста. Новый тест появится на основном экране сервиса. Прописываем даты начала и окончания тестирования.

Когда всё будет готово, жмём «Запустить тест».

5. Определить выборку. Roistat автоматически показывает пользователям разные варианты сайтов и лендингов. Иногда для А/Б-тестов нужно определить выборку — это аудитория, которая увидит разные варианты теста. Минимальный размер выборки можно рассчитать с помощью калькулятора — Яндекса или Mindboх.

Подробнее о том, что такое А/Б-тестирование и как оно помогает бизнесу, рассказали в нашем блоге и в ролике на YouTube-канале:

Google Marketing Platform (Google Optimize)

Бесплатный сервис для тестирования нескольких гипотез. Популярен тем, что многие компании используют Google Analytics. Сейчас этот инструмент недоступен на территории России, однако он очень популярен.

Достаточно добавить код в каталог сайта, и тест стартовал. Минус в том, что платформа не работает с рекламными объявлениями и не умеет анализировать трафик.

Optimizely

Простой и удобный сервис для A/B-тестирования. Бесплатно можно проводить тесты, если у вас один сайт. Работает через копирования кода в шапку сайта. Optimizely хорош тем, что в нём нет ничего лишнего — сервис подходит только для сплит-тестов. Внутри есть редактор для внедрения изменений. Для использования сервиса нужно знать английский.

Visual Website Optimizer

Под капотом инструмента множество полезных опций — исследование мобильной и десктопной версии посадочной, использование поведенческого таргетинга для формирования выборки, интеграция с веб-аналитикой.

У Visual Website Optimizer есть платные тарифы, бесплатно можно пользоваться только 30 дней с ограничением — в выборке не может быть больше 1000 посетителей.

В этом инструменте интерфейс на английском — в нём сложнее разобраться, чем в Roistat и Optimizely.

ABtasty

В сервисе есть демо-режим на 30 дней и множество опций по исследованиям — не только А/Б-тестирование, но и мультивариантные эксперименты. В ABtasty можно настраивать таргетинги, вносить изменения любых элементов на сайте.

При этом, в сервисе нет русского языка и меньше вариантов настройки таргетинга, чем в других инструментах.

Convert

Сервис с самым большим набором возможностей для настроек таргетинга, умеет работать с огромной выборкой вплоть до миллиарда пользователей. В инструменте есть интеграция с веб-аналитикой, гибкие настройки тестов и возможность провести несколько исследований сразу. Минуса два — отсутствие русскоязычной поддержки и очень высокая стоимость подписки.

Распространённые ошибки в проведении А/Б-тестов

1. Менять настройки по ходу теста

Эффективности А/Б-теста зависит от того, как он проводится. Перед стартом стоит понять целевой показатель и рассчитать корректный размер выборки, который поможет получить точный результат.

Не стоит менять целевую метрику теста, распределение трафика между тестируемыми группами и вносить любые изменения в тестируемые элементы после запуска исследования. Изменения повлияют на корректность выводов.

Пример: запустили А/Б-тест и сфокусировались не на целевом показателе — конверсия в заявку, а на второстепенном — конверсия в подписку. Заметили, что с варианта 1 приходит мало заявок, но много подписок на рассылку. Вариант 2 переводит людей в лидов чаще, но почти подписок с него нет. В итоге придаём больший вес не основному показателю, надеясь, что в будущем подписчики рассылки станут лидами. Получается, что победил вариант, который больше нравится компании, а не пользователям. Из-за этого бизнес может потерять прибыль.

2. Одновременно тестировать много вариантов

Чем больше вариантов тестируется в сплите, тем больше искажаются результаты. Тестирование большого количества гипотез одновременно повышает вероятность получить «ложного» победителя. Чем меньше вариантов тестируете, тем более достоверными будут ваши результаты.

3. Неверно оценивать сегментацию после исследования

После сплит-тестов важно анализировать не только метрики, но и смотреть результаты в разрезе сегментов пользователей. Вариант Б может проиграть варианту A по общим метрикам, но на определённых сегментах он сработал хорошо.

Пример: по результатам исследования маркетолог увидел, что пользователям больше понравился вариант А. Однако для одного сегмента (мужчины от 18 до 25 лет) лучшим оказался второй вариант. Именно его и решили запускать, потому что компания нацелена как раз на этот сегмент.

4. Сокращать время на проведение исследований

Не нужно торопиться с тестами. Если тестировать изменения в короткий срок, есть шанс не успеть получить много данных для аналитики. В этом случае есть рискуете получить неточную информацию и использовать её для необоснованных решений.

• Продумывайте сильную гипотезу для А/Б-тестирования — чем точнее гипотеза, тем более корректные результаты исследования.
• Используйте калькуляторы для расчёта выборки и времени теста.
• Тестируйте не только целые посадочные, но и элементы сайта — попапы, всплывающие окна, карточки, рассылки, виджеты и т.д.
• Не нужно оценивать результаты до окончания теста — проверяйте данные после его окончания, анализируя ключевую метрику.
• Не вносите изменения по ходу теста, иначе результаты будут некорректными.
• Не стоит тестировать одновременно нескольких изменений на одной странице или на сайте за один раз.

Подписывайтесь на наши каналы в Telegram. Делимся статьями из блога и полезными видео, рассказываем о последних обновлениях продукта Roistat.