5 ошибок, которые «ломают» результаты ваших А/Б тестов

В статье расскажем, какие ошибки мешают принимать правильные решения по итогам А/Б тестирования, а также о том, как работает сервис «А/Б тесты» в Roistat.

А/Б тесты — это маркетинговый метод исследования, позволяющий повысить эффективность сайтов, лендингов, дизайна страниц, офферов компании. Например, вы сравниваете два варианта сайта, которые могут отличаться одним элементом: цветом кнопки на форме заказа или заголовком. По итогам тестирования оставляете версию, показавшую лучший результат.

Узнать больше об инструменте А/Б тесты в Roistat

О том, что такое А/Б тестирование и как помогает увеличить продажи, рассказали в нашем блоге.

Ошибка №1: изменять заданные настройки в процессе теста

Ключевой фактор эффективности А/Б теста — процесс его проведения. Перед началом тестирования определите целевой показатель и рассчитайте размер выборки, необходимый для точности результатов.

Размер выборки — это количество людей, которые должны поучаствовать в эксперименте, чтобы результаты А/Б теста можно было считать достоверными. Рассчитать необходимый объем выборки можно с помощью калькулятора А/Б тестов. Такой инструмент есть у Яндекс, Mindboх, SurveyMonkey.

Не изменяйте целевой показатель теста, дизайн или распределение трафика между тестируемыми вариантами после запуска А/Б теста. Изменения повлияют на правильность выводов по окончанию тестирования.

Перед началом определите ключевой показатель, который будете отслеживать на протяжении всего тестирования. Именно по этой метрике необходимо анализировать результаты и принимать решение о победе одного из вариантов по итогам тестирования. Иначе вы можете придавать большой вес не основным показателям, чтобы победил вариант, который нравится компании, но не пользователям.

Пример: если вы хотите изучить конверсию в заявки с разных вариантов лендинга, не нужно уделять много внимания другим показателям результаты. Например, вы запустили А/Б тест и вместо того, чтобы сфокусироваться на показателе конверсии в заявку, стали также отслеживать конверсию в подписку. В итоге вы видите, что с варианта 1 вы получаете не очень много заявок, зато много подписок на рассылку. Вариант 2 конвертит пользователей в лидов чаще, но почти не приводит подписки. Вы придаёте большой вес не основному показателю - надеетесь, что в будущем подписчики рассылки конвертируются в заявки. Победил вариант, который нравится компании, но не пользователям. Бизнес теряет прибыль.

Ошибка №2: одновременно тестировать слишком много вариантов

Большое количество вариантов замедляет процесс тестирования и искажает результаты.

Чтобы получить достоверные данные при проведении тестов с большим количеством вариаций, нужен больший объем трафика и больше времени. Но при длительном тесте пользователи могут очистить файлы cookie и попасть на страницу, отличающуюся от изначальной. Это повлияет на качество выборки.

Тестирование большого количества вариантов увеличивает вероятность получить «ложного» победителя.

Пример: компания Google в 2009 году хотела протестировать 41 оттенок синего цвета в рекламной выдаче. Была задача понять, на какой из них пользователи отреагируют большим количеством кликов. Вероятность получения ложноположительного ответа составила 88%. Если бы компания проводила тестирование двух оттенков, ошибка была бы всего 5%.

Поэтому чем меньше вариантов вы тестируете, тем более высокая вероятность получить достоверные результаты.

Еще одна проблема при тестировании множества вариантов — невозможно назвать однозначного победителя. Между лидером и вторым вариантом не будет статистически значимой разницы. Один вариант может быть лучше в текущем тесте, а занявший второе — «выиграть» в следующем раунде. Следует рассматривать оба варианта как победителей или провести дополнительное тестирование.

Ошибка №3: неправильно учитывать сегментацию пользователей после тестирования

После тестирования необходимо проанализировать полученные результаты в разрезе сегментов пользователей. «Вариант Б» может проиграть «варианту A» в общих результатах, но для определенных сегментов пользователей ситуация может быть противоположной.

Пример: для запуска рекламной кампании бизнес изучил данные тестов и увидел, что, в целом, аудитории больше понравился «вариант А». Однако для определённого сегмента (женщины от 18 до 25 лет) лучшим оказался «вариант Б». Именно его мы и будем запускать, потому что наша кампания нацелена на этот сегмент. 

Сегментация позволяет показывать персонализированный контент вашим посетителям на основе их характеристик. Сегментировать пользователей можно по источнику трафика, местоположению, типу посещения (новые и повторные визиты), типу устройства.

Как сегментация аудитории помогает повышать продажи — рассказали в блоге Roistat.

На качество выводов по итогам сегментации после тестирования влияют:

1. Маленький размер выборок для сегментов. Достаточный размер выборки всего А/Б теста не гарантирует достаточность для конкретного сегмента. Тогда выводы по такому сегменту могут быть статистически недостоверными. 
2. Множественность сравнения сегментов. Чем больше сегментов сравнивается, тем выше вероятность ложноположительного результата.

К таким ошибкам приводит деление результатов на сегменты уже после тестирования. Чтобы избежать подобных проблем, создавайте целевые тесты по сегментам. 

Также можно определить достаточную выборку для сегментов перед началом тестирования. Перед остановкой А/Б теста убедитесь, что выборка имеет достаточный размер в каждом сегменте. Посчитать необходимый для достоверного тестирования объем выборки можно с помощью калькулятора А/Б тестов.

Ошибка №4: забывать про доверительный интервал для А/Б-тестирования

Доверительный интервал определяет точность измерений. С его помощью можно рассчитать погрешности тестов — насколько близкая к первоначальной получится величина при проведении повторного тестирования. Чем меньше интервал, тем выше неточность.

Пример: если тестировать email-рассылку по всей базе подписчиков, а не по выбранному для тестов сегменту, есть риск получить искажённые результаты. По вашим расчётам, доверительный интервал составит 100%. Из-за этого в результаты исследований попадут погрешности, которые испортят статистику.

Ошибка №5: сокращать время на проведение А/Б-тестов

Торопиться с исследованиями никогда не стоит — за короткий промежуток времени можно не успеть собрать достаточно данных для анализа. Тогда рискуете получить неточную информацию и на её основе принимать необоснованные решения.

Пример: перед стартом распродажи нужно быстро проверить гипотезу. Создали два варианта лендингов: в «варианте А» поставили таймер, который отсчитывает время до конца распродажи, в «варианте Б» его не использовали.

В течение двух дней собирали аналитику — победил «вариант Б», который и запустили в распродажу. В итоге конверсия в заявку была низкой. Если бы мы не торопились и провели более длительное исследование, получили бы более точные результаты. Узнали бы, что больше конверсий приносит «вариант А».

О том, когда A/Б-тестирование можно не проводить, рассказали в нашем материале.

А/Б тестирование в Roistat

В Roistat есть возможность подключить инструмент «А/Б тесты». Он помогает самостоятельно создавать и проводить тесты, рассчитывать прибыльность каждого варианта. Для внесения таких простых изменений, как цвет кнопки или текст заголовка на всех страницах сайта, не потребуется помощь программиста.

Узнать больше об инструменте А/Б тесты в Roistat

Статистику по результатам можно смотреть прямо в системе: количество визитов, заявок и продаж, показатель ROI, конверсию, прибыль с каждого из вариантов.

Roistat помогает определить, когда остановить тестирование, и сегментирует аудиторию по таким параметрам, как тип браузера, устройства, рекламный канал.

Как провести А/Б-тестирование

1. Откройте главное меню в сервисе Roistat → выберите пункт «А/Б тесты».

2. Выберете, какой тип теста собираетесь провести:

• тесты стилей — анализ визуальных эффектов интерфейса: как выглядит сайт, что ограничивает функциональность, что упрощает настройку;
• программируемые тесты — более функциональный инструмент, который позволяет оценить множество параметров.

Для проведения программируемых тестов нужно скачать файл Программируемый тест и скопировать его в любую папку на свой сервер. Там же нужно создать файл tests.php — это список всех ваших А/Б-тестов. Пример файла tests.php:

Составили инструкцию о том, как настраивать программируемый тест в Roistat.

4. Посмотрите результаты теста. Кликаем по его названию и изучаем отчёт.

Хотите знать больше об инструментах Roistat? Подписывайтесь на наш Telegram-канал Roistat — сквозная аналитика. Делимся полезными материалами, кейсами и новостями компании.