Меню

Подключить Roistat
ГлавнаяАналитикаТри ошибки, которые «ломают» результаты ваших А/Б тестов

Три ошибки, которые «ломают» результаты ваших А/Б тестов

15 Дек 2020

Содержание

В статье расскажем, какие ошибки мешают принимать правильные решения по итогам А/Б тестирования, а также о том, как работает инструмент «А/Б тесты» в Roistat.

А/Б тесты — это маркетинговый метод исследования, позволяющий повысить эффективность сайтов, лендингов, дизайна страниц, офферов компании. Например, вы сравниваете два варианта сайта, которые могут отличаться одним элементом: цветом кнопки на форме заказа или заголовком. По итогам тестирования оставляете версию, показавшую лучший результат.

Нужно больше информации об А/Б тестах? Читайте материал «А/Б тестирование: что это и как помогает увеличить продажи».

Ошибка №1: изменять заданные настройки в процессе теста

Ключевой фактор эффективности А/Б теста — процесс его проведения. Перед началом тестирования определите целевой показатель и рассчитайте размер выборки, необходимый для точности результатов.

Размер выборки — это количество людей, которые должны поучаствовать в эксперименте, чтобы результаты А/Б теста можно было считать достоверными. Рассчитать необходимый объем выборки можно с помощью калькулятора А/Б тестов. Например, такой инструмент есть у Яндекс, Mindboх, SurveyMonkey.

Не изменяйте целевой показатель теста, дизайн или распределение трафика между тестируемыми вариантами после запуска А/Б теста. Изменения повлияют на правильность выводов по окончанию тестирования.

Перед началом определите ключевой показатель, который будете отслеживать на протяжении всего тестирования. Именно по этой метрике необходимо анализировать результаты и принимать решение о победе одного из вариантов по итогам тестирования. Иначе вы можете придавать большой вес не основным показателям, чтобы победил вариант, который нравится компании, но не пользователям.

Ошибка №2: одновременно тестировать слишком много вариантов

Большое количество вариантов замедляет процесс тестирования и искажает результаты.

Чтобы получить достоверные данные при проведении тестов с большим количеством вариаций, нужен больший объем трафика и больше времени. Но при длительном тесте пользователи могут очистить файлы cookie и попасть на страницу, отличающуюся от изначальной. Это повлияет на качество выборки.

Тестирование большого количества вариантов увеличивает вероятность получить «ложного» победителя.

Пример: компания Google в 2009 году хотела протестировать 41 оттенок синего цвета в рекламной выдаче. Была задача понять, на какой из них пользователи отреагируют большим количеством кликов. Вероятность получения ложноположительного ответа составила 88%. Если бы компания проводила тестирование двух оттенков, ошибка была бы всего 5%.

Поэтому чем меньше вариантов вы тестируете, тем более высокая вероятность получить достоверные результаты.

Еще одна проблема при тестировании множества вариантов — невозможно назвать однозначного победителя. Между лидером и вторым вариантом не будет статистически значимой разницы. Один вариант может быть лучше в текущем тесте, а занявший второе — «выиграть» в следующем раунде. Следует рассматривать оба варианта как победителей или провести дополнительное тестирование.

Ошибка №3: неправильно учитывать сегментацию пользователей после тестирования

После тестирования необходимо проанализировать полученные результаты в разрезе сегментов пользователей. «Вариант Б» может проиграть «варианту A» в общих результатах, но для определенных сегментов пользователей ситуация может быть противоположной. Например, в целом аудитории больше понравился «вариант А», но для аудитории женщин от 18 до 25 лет победил «вариант Б». Сегментация позволит показывать персонализированный контент вашим посетителям на основе их характеристик. 

Сегментировать пользователей можно по источнику трафика, местоположению, типу посещения (новые и повторные визиты), типу устройства. На качество выводов по итогам сегментации после тестирования влияют:

  1. Маленький размер выборок для сегментов. Достаточный размер выборки всего А/Б теста не гарантирует достаточность для конкретного сегмента. Тогда выводы по такому сегменту могут быть статистически недостоверными. 
  2. Множественность сравнения сегментов. Чем больше сегментов сравнивается, тем выше вероятность ложноположительного результата.

К таким ошибкам приводит деление результатов на сегменты уже после тестирования. Чтобы избежать подобных проблем, создавайте целевые тесты по сегментам. 

Также можно определить достаточную выборку для сегментов перед началом тестирования. Перед остановкой А/Б теста убедитесь, что выборка имеет достаточный размер в каждом сегменте. Посчитать необходимый для достоверного тестирования объем выборки можно с помощью калькулятора А/Б тестов.

А/Б тестирование в Roistat

В Roistat есть возможность подключить инструмент «А/Б тесты». Он помогает самостоятельно создавать и проводить тесты, рассчитывать прибыльность каждого варианта. Для внесения таких простых изменений, как цвет кнопки или текст заголовка на всех страницах сайта, не потребуется помощь программиста.

Статистику по результатам можно смотреть прямо в системе: количество визитов, заявок и продаж, показатель ROI, конверсию, прибыль с каждого из вариантов.

 А/Б тесты: пример отчета в проекте Roistat
А/Б тесты: пример отчета в проекте Roistat

Roistat помогает определить, когда остановить тестирование, и сегментирует аудиторию по таким параметрам, как тип браузера, устройства, рекламный канал.

Хотите знать больше об инструментах Roistat? Подписывайтесь на наш Telegram-канал Roistat — сквозная аналитика. Делимся полезными материалами, кейсами и новостями компании.

Источник текста: Widerfunnel.

Ко всем статьям →