Site icon Блог Roistat

A/Б-тесты

Что такое A/Б-тесты

А/Б-тестирование — это вариант маркетингового исследования, цель которого сравнить две версии рекламного объявления, лендинга, элемента сайта, которые отличаются одним параметром.

Сервис А/Б-тестирования Roistat
Тестируйте влияние разных вариантов страниц на заявки и продажи. Сравнивайте эффективность вариантов не только по конверсиям, но и по прибыли.
Подробнее

А/Б-тест определяет, какой вариант больше привлекает целевую аудиторию, приносит наибольшую конверсию или прибыль.

Для А/Б-тестирования важно понимать, на какую метрику планируем повлиять: если на конверсию, то красный вариант побеждает, если на прибыль — зелёный
Пример

Маркетологу нужно прорекламировать новый шампунь. Он хочет протестировать, какое предложение приводит больше клиентов. Гипотеза: возможно, скидка не влияет на размер конверсии, а только уменьшает доходы компании.

На первом варианте лендинга компания добавляет баннер с предложением скидки 30%. Второй лендинг выглядит так же, как и первый, только на нём нет баннера с предложением скидки.

Маркетолог настраивает А/Б-тест: в случайном порядке половина пользователей видит лендинг со скидкой (вариант А), а другие — версию без скидки (вариант B). Через неделю маркетолог изучает показатели и видит, что второй вариант привёл больше клиентов.

Выручка и средний чек варианта без скидки выше — результаты исследования рассчитаны в инструменте «А/Б-тесты» от Roistat

Важно

А/Б-тестирование иногда называют сплит-тестом, потому что аудиторию «сплитят», то есть делят на части. Например, половине показывают один вариант картинки на лендинге, второй — другой вариант.

Кому и для чего нужны А/Б-тесты

Тесты нужны, когда нужно проверить гипотезу. Проще и дешевле не тратить усилия и бюджет на запуск фичи, рекламной кампании, нового лендинга, если нет цифр и метрик, которые подтверждают необходимость фичи, кампании, лендинга. Получить цифры и метрики можно с помощью А/Б-тестов.

Опытный маркетолог не предложит сразу запускать новый рекламный проект, если нет доказательной базы, что он повлияет на метрики — увеличит конверсию, принесёт прибыль. Юзеры разного статуса, пола, возраста, из разных регионов в разное время могут вести себя по-разному — в один момент кликнуть по рекламе, в другой не кликнуть по такому же объявлению. На поведение пользователей влияет множество факторов, и только с помощью тестов можно учесть большинство из них. Результаты тестов покажут, какие варианты наиболее привлекательные.

Для проведения сплит-тестирования не нужны особые знания и навыки. Это простой инструмент, который может использовать любой сотрудник компании. Чаще всего такие тесты запускают:

Зачем проводят сплит-тесты

1. Быстрее проверять гипотезы. Если не устраивает конверсия в продажи, можно поменять весь сайт. Это долго, дорого и не гарантирует роста конверсии. А/Б-тест поможет сэкономить и получить результат за пару недель — изменяйте элементы, которые вызывают сомнения, например, кнопки или основные тексты, настраивайте тестирование и отслеживайте изменение показателей.

2. Принимать решения на основе данных, а не интуиции. Бывает так, что опыт эксперта не совпадает со взглядами целевой аудитории. Используйте экспертизу для построения гипотез, тестируйте, чтобы убедиться в их эффективности.

3. Лучше узнавать свою аудиторию. Тестирование поможет определить, как работать с аудиторией, что ей больше всего нравится, что привлекает внимание и стимулирует продажи. Результаты тестов помогут в будущих проектах. Например, вы узнали, что у баннеров с отзывами клиентов высокая конверсия. В дальнейшем будете делать так все баннеры — их лучше воспринимает ваша аудитория.

Что можно исследовать с помощью А/Б-тестов

В маркетинге тестируют кампании и элементы коммуникации — в лендингах, в рассылках, на сайтах, в рекламных объявлениях:

Важно

Для проведения корректного A/B-тестирования нужно тестировать не больше одной гипотезы, одного изменения за раз. Например, тестируем расположение кнопки на баннере. Хороший тест — поменять только расположение кнопки, так мы получим точные данные, как одно изменение повлияло на нужные нам метрики. Если поменять не только расположение, но и дизайн картинки, текст, невозможно будет понять, что именно привело к конкретному итогу.

Какие показатели улучшают после А/Б-теста

Конверсия

Одна из самых популярных метрик для сплит-тестов. Конверсия показывает количество пользователей, которые совершили нужное целевое действие. Например, оформили заказ, оставили заявку, скачали приложение. Чем выше конверсия, тем лучше сработала реклама, креатив, лендинг и т.д.

Коэффициент конверсии используют как основную метрику, когда тестируют, как:

Поведенческие метрики

Это ряд метрик, которые помогают понять, как посетители взаимодействуют с сайтом или приложением. Отслеживая эти метрики, понимаешь, насколько интересен посетителям сайт и продукт, что они делают перед тем, как совершить покупку, какие барьеры мешают выполнить целевое действие. Когда проводят А/Б-тесты, могут замерять:

С помощью поведенческих факторов можно проводить тесты, чтобы сделать интерфейс более удобным, понятным, контент полезным и интересным. В этом случае пользователи активнее совершают покупки и оформляют заявки.

Финансовые метрики

Это показатели, которые напрямую влияют на состояние бизнеса. Финансовые показатели нечасто оценивают в сплит-тестах, предпочитая смотреть на конверсию. Но конверсия — ещё не покупка, не прибыль. Более эффективно проводить А/Б-тесты, оценивая финансовые метрики — например:

Рассказали про 6 простых бизнес-метрик, которые важно отслеживать для повышения прибыли.

Этапы A/B-тестирования

Шаг 1. Построение гипотезы

Сплит-тесты проводят, чтобы найти решения для какой-то проблемы. Понимая эту проблему, можно сформулировать гипотезу — предположить, что именно произойдёт в результате внедрения изменений.

Пример

У b2b бизнеса упали продажи, маркетолог предположил, что публикация кейсов на VC.ru увеличит конверсию в заявку на 10%. Цель А/Б-тестирования — подтвердить или опровергнуть гипотезу. Без гипотезы нет смысла проводить исследование.

Сформировать корректную гипотезу поможет метод SMART. Это значит, что гипотеза должна быть:

Характеристика гипотезыПримерАнтипример
SpecificКонкретнаяПовысить конверсию в заявкуБольше зарабатывать
MeasurableИзмеримаяПовысить конверсию в заявку на 10%Получать больше лидов
AchievableДостижимаяУвеличить продажи на 15%Увеличить продажи на 1500%
Relevant ЗначимаяВнедрение виджета на сайт увеличит количество заявок, это вписывается в стратегию компанииКупить рекламу у популярного блогера — это не входит в стратегию компании
Time bound Ограниченная по времениУвеличить конверсию с лендинга к концу кварталаПовысить выручку с рекламы

Шаг 2. Выбор метрик и инструментов

Подключите сервис для A/B-тестирования. Например, если исследуете изменение на лендинге или посадочной, понадобится доступ администратора к сайту. Чтобы связать сервис тестирования с нужной страницей, необходимо добавить код события в код страницы.

Определитесь с метриками — не стоит выбирать несколько и оценивать результаты теста по каждой. Выберите основной показатель, по которому будете делать вывод — например, конверсия в покупку или прибыль. В качестве дополнительных метрик можно добавить 203 показателя — они дадут дополнительную информацию, но по ним не стоит принимать решение о результатах тестирования.

Укажите оставшиеся параметры для проведения A/B-тестирования:

Шаг 3. Проведение теста

Обычно гипотезы исследуют в течение двух недель. Этого времени хватит, чтобы собрать нужное количество информации для теста.

Что учесть во время проведения теста:

Шаг 4. Аналитика результатов

Тест завершился в срок, статистика собрана. Осталось её проанализировать. Прежде чем делать выводы, стоит определить показатели с высокой статистической значимостью от случайных изменений.

Для этого можно воспользоваться калькулятором — если показатели будут в рамках погрешности, он подсветит, что статистическая значимость отсутствует.

Сервисы для A/B-тестирования умеют считать статистическую значимость самостоятельно. Инструмент для исследования в Roistat чётко подсветит результаты тестирования:

Как работает A/B-тестирование в Roistat

Шаг 5. Формирование выводов

По итогам теста вас ждут один из двух выводов:

1. Гипотеза не оправдалась — версия А выиграла или между версиями не оказалось статически значимой разницы. Это значит, что масштабировать гипотезу не стоит — особого эффекта это не принесёт.

Чтобы разобраться в причинах провала гипотезы, стоит провести исследование пользователей с целью определить, почему изменения не сработали так, как ожидалось. Такая работа поможет собрать материалы для будущих тестов.

2. Гипотеза подтвердилась — версия B победила. Идею из гипотезы можно масштабировать и тестировать на всей аудитории, чтобы получить новые результаты о её эффективности.

Инструменты A/B-тестирования

A/B-тесты Roistat

Roistat — аналитическая платформа, которая помогает повысить эффективность маркетинга. C сервисом «А/Б-тесты» от Roistat легко самостоятельно исследовать гипотезы, тестировать посадочные страницы, рассчитывая прибыльность каждого варианта. Можно протестировать любой элемент сайта или лендинга и отследить не только конверсию в клик, но и бизнес-метрики — выручку, прибыль, ROI и т.д.

В сервисе «А/Б-тесты» от Roistat удобно выбирать лучшие страницы по прибыли

В Roistat можно анализировать результаты сплит-тестов, оценивая метрики по всей воронке. Это поможет определить варианты интерфейса баннеров, посадочных и лендингов, которые помогают привлекать больше заявок и выручки.

Сервис А/Б-тестирования Roistat
Тестируйте влияние разных вариантов страниц на заявки и продажи. Сравнивайте эффективность вариантов не только по конверсиям, но и по прибыли.
Подробнее

Бесплатные инструменты помогают оценить тесты по поведенческим метрикам — конверсия, CTR, OR (Open Rate, коэффициент открываемости). Бизнесу эти данные ничего не говорят — компании полезнее знать, какой вариант в тесте принёс больше прибыли.

Понять итоги тестирования по выручке, прибыли и других бизнес-метриках можно в инструменте «А/Б тесты» от Roistat. Он покажет больше данных по тестам — сколько прибыли принёс каждый вариант, какая была конверсия в заявки и в покупку, какой средний чек. 

Roistat автоматически определяет показатели CBA и CBA+ — это специальные метрики для оценки вероятности итогов А/Б-теста

Как провести А/Б-тест в Roistat

1. Определить, что нужно улучшить. Проще формировать цель через показатели — какой вариант поможет увеличить конверсию сайта в заявку.

2. Разработать гипотезу — что тестировать и зачем. Предполагаем, какой элемент нужно заменить и почему, какие результаты ожидаем получить.

3. Настроить тест в Roistat. Открываем сервис, переходим в главное меню и выбираем пункт А/Б-тесты. Мы протестируем стили — визуальную часть сайта или лендинга. Кликаем «Создать тест стилей».

Появляется окно с настройками.

Окно с настройками в сервисе «А/Б-тесты» от Roistat

Указываем название теста и прописываем CSS-код — для исходного варианта и для версии 1

Нажимаем «Посмотреть», чтобы проверить, как будут отображаться каждый из вариантов в тесте.

Если всё в порядке, кликаем «Создать тест».

4. Указать продолжительность теста. Новый тест появится на основном экране сервиса. Прописываем даты начала и окончания тестирования.

Запуск А/Б-теста в сервисе Roistat

Когда всё будет готово, жмём «Запустить тест».

5. Определить выборку. Roistat автоматически показывает пользователям разные варианты сайтов и лендингов. Иногда для А/Б-тестов нужно определить выборку — это аудитория, которая увидит разные варианты теста. Минимальный размер выборки можно рассчитать с помощью калькулятора — Яндекса или Mindb.

Подробнее о том, что такое А/Б-тестирование и как оно помогает бизнесу, рассказали в нашем блоге и в ролике на YouTube-канале:

Возможности инструмента А/Б-тесты от Roistat

Google Marketing Platform (Google Optimize)

Бесплатный сервис для тестирования нескольких гипотез. Популярен тем, что многие компании используют Google Analytics. Сейчас этот инструмент недоступен на территории России, однако он очень популярен.

Достаточно добавить код в каталог сайта, и тест стартовал. Минус в том, что платформа не работает с рекламными объявлениями и не умеет анализировать трафик.

Как выглядит Google Marketing Platform

Optimizely

Простой и удобный сервис для A/B-тестирования. Бесплатно можно проводить тесты, если у вас один сайт. Работает через копирования кода в шапку сайта. Optimizely хорош тем, что в нём нет ничего лишнего — сервис подходит только для сплит-тестов. Внутри есть редактор для внедрения изменений. Для использования сервиса нужно знать английский.

Как выглядит интерфейс Optimizely

Visual Website Optimizer

Под капотом инструмента множество полезных опций — исследование мобильной и десктопной версии посадочной, использование поведенческого таргетинга для формирования выборки, интеграция с веб-аналитикой.

У Visual Website Optimizer есть платные тарифы, бесплатно можно пользоваться только 30 дней с ограничением — в выборке не может быть больше 1000 посетителей.

В этом инструменте интерфейс на английском — в нём сложнее разобраться, чем в Roistat и Optimizely.

Как выглядит Visual Website Optimizer

ABtasty

В сервисе есть демо-режим на 30 дней и множество опций по исследованиям — не только А/Б-тестирование, но и мультивариантные эксперименты. В ABtasty можно настраивать таргетинги, вносить изменения любых элементов на сайте.

При этом, в сервисе нет русского языка и меньше вариантов настройки таргетинга, чем в других инструментах.

Как выглядит ABtasty

Convert

Сервис с самым большим набором возможностей для настроек таргетинга, умеет работать с огромной выборкой вплоть до миллиарда пользователей. В инструменте есть интеграция с веб-аналитикой, гибкие настройки тестов и возможность провести несколько исследований сразу. Минуса два — отсутствие русскоязычной поддержки и очень высокая стоимость подписки.

Интерфейс Convert

Распространённые ошибки в проведении А/Б-тестов

1. Менять настройки по ходу теста

Эффективности А/Б-теста зависит от того, как он проводится. Перед стартом стоит понять целевой показатель и рассчитать корректный размер выборки, который поможет получить точный результат.

Не стоит менять целевую метрику теста, распределение трафика между тестируемыми группами и вносить любые изменения в тестируемые элементы после запуска исследования. Изменения повлияют на корректность выводов.

Пример: запустили А/Б-тест и сфокусировались не на целевом показателе — конверсия в заявку, а на второстепенном — конверсия в подписку. Заметили, что с варианта 1 приходит мало заявок, но много подписок на рассылку. Вариант 2 переводит людей в лидов чаще, но почти подписок с него нет. В итоге придаём больший вес не основному показателю, надеясь, что в будущем подписчики рассылки станут лидами. Получается, что победил вариант, который больше нравится компании, а не пользователям. Из-за этого бизнес может потерять прибыль.

2. Одновременно тестировать много вариантов

Чем больше вариантов тестируется в сплите, тем больше искажаются результаты. Тестирование большого количества гипотез одновременно повышает вероятность получить «ложного» победителя. Чем меньше вариантов тестируете, тем более достоверными будут ваши результаты.

3. Неверно оценивать сегментацию после исследования

После сплит-тестов важно анализировать не только метрики, но и смотреть результаты в разрезе сегментов пользователей. Вариант Б может проиграть варианту A по общим метрикам, но на определённых сегментах он сработал хорошо.

Пример: по результатам исследования маркетолог увидел, что пользователям больше понравился вариант А. Однако для одного сегмента (мужчины от 18 до 25 лет) лучшим оказался второй вариант. Именно его и решили запускать, потому что компания нацелена как раз на этот сегмент.

4. Сокращать время на проведение исследований

Не нужно торопиться с тестами. Если тестировать изменения в короткий срок, есть шанс не успеть получить много данных для аналитики. В этом случае есть рискуете получить неточную информацию и использовать её для необоснованных решений.

Пример

Перед стартом промо решили быстро проверить гипотезу. Создали два варианта посадочной: для первого варианта добавили таймер с отсчётом времени до конца распродажи, во втором варианте таймера не было.

За два дня собрали аналитику — победил второй вариант, его и запустили. Но целевой показатель — конверсия в заявку — упала. Если бы не торопились и провели тест в течение 10-14 дней, получили бы более точные результаты — первый вариант принёс бы больше конверсий.

Хотите освоить
сквозную аналитику?
Посетите регулярный мастер-класс
по аналитике от Roistat
Подключиться

Как провести результативный А/Б-тест — резюме

Подписывайтесь на наши каналы в Telegram. Делимся статьями из блога и полезными видео, рассказываем о последних обновлениях продукта Roistat.