Меню

Подключить Roistat
ГлавнаяАналитикаКогда можно не проводить АБ-тест?

Когда можно не проводить АБ-тест?

19 Апр 2021

Содержание

Как появились АБ-тесты, в каких ситуациях АБ-тестирование бесполезно и как определить лучший вариант лендинга или рекламы без тестирования.

Что такое АБ-тесты и причём тут пивоварение

АБ-тестирование — сравнение двух, реже — более двух, вариантов сайта, дизайна, офферов компании для определения наиболее эффективной версии. Варианты могу отличаться одним элементом, например, расположением заголовка или цветом кнопки, или совершенно отличаться друг от друга. По итогам тестирования выбирают лучшую альтернативу, например, страницу с максимальной конверсией в заявки и продажи.

Подробнее о том, что такое АБ-тестирование и как оно помогает увеличить продажи, читайте в нашем блоге.

АБ-тестирование началось с пива: основе АБ-тестирования лежит статистический анализ. Его развивал британский учёный Уильям Сили Госсет, в начале XX века работавший в компании Guinness.

Госсет хотел найти способ улучшить отбор сырья для пивоварения. Для этого он разработал математическое обоснование «закона ошибок» для малых статистических выборок. Сегодня его открытие известно как «t-распределение Стьюдента», которое и легло в основу концепции статистической значимости.

На основе статистических данных принимаются многие решения — от оценки эффективности политической кампании до оттенка синего цвета для гиперссылок на сайте.

Когда АБ-тесты бесполезны: парадокс Фредкина и закон тривиальности Паркинсона

Идеи в основе АБ-тестов содержат парадокс, который может поставить под сомнение ценность полученных данных.

Парадокс Фредкина. Чем больше два одинаковых варианта кажутся одинаково привлекательными, тем сложнее сделать выбор между ними. Из-за парадокса Фредкина выбор между двумя очень похожими вариантами не будет иметь ценности. Нет смысла запускать АБ-тестирование, чтобы определить какая кнопка — тёмно-синяя или светло-синяя — принесёт больше заявок.

Закон тривиальности Паркинсона. В 1955 году К. Норткот Паркинсон описал в своей книге вымышленную встречу, на которой 11 человек принимали решение о строительстве атомной электростанции и навеса для велосипедов. Из-за сложности вопроса только двое участников могли принять участие в обсуждении бюджета на строительство электростанции, который оценивался в $10 000 000. Через две минуты бюджет был утверждён. Обсуждение строительства навеса для велосипедов, стоимостью $2 350, заняло 40 минут, все присутствующие принимали активное участие в обсуждении.

Так Паркинсон показал, что время, затраченное на любой пункт повестки дня, будет обратно пропорционально затраченной денежной сумме. То есть зачастую на неважные решения затрачивается слишком много времени и денег. Поэтому иногда проведение АБ-теста не будет иметь ценности по сравнению с усилиями, которые будут потрачены на его проведение.

О том, какие ошибки мешают принимать правильные решения по итогам АБ-тестирования, рассказали в нашем блоге.

Альтернатива АБ-тестам

Проведение АБ-тестов может быть сложным и затратным. Создание второго, тестового варианта, может составлять половину суммы, которую компания потратила на создание первой версии. Поэтому АБ-тестирование стоит проводить только для проверки серьёзных изменений.

Как без АБ-тестов можно определить лучший вариант?

1. Проанализируйте действия пяти пользователей. Первые пять посетивших сайт пользователей обнаруживают более 75% проблем, связанных с простотой и удобством использования страницы. Проанализируйте их поведение — поймёте, как улучшить сайт без АБ-тестирования.

2. Вносите только одно простое изменение. Просто внесите это изменение и посмотрите, что произойдёт. Вместо того, чтобы показывать половине пользователей изменённый заголовок главной страницы и ждать статистически значимых результатов, покажите всем посетителям сайта новый вариант — получите результаты гораздо быстрее. Если страница станет хуже конвертировать посетителей в заявки, откатите её до старого варианта.

Такой способ не имеет такую статистическую точность как A/Б-тестирование, но он упрощает принятие решения о небольших изменениях.

3. Используйте сервис «А/Б-тесты» Roistat. В Roistat можно быстро настроить тестирование: поменять цвет кнопки или варианты главного меню без помощи программистов. Сервис сравнит, сколько заявок, продаж, выручки и прибыли принёс каждый вариант. При необходимости можно добавить другие важные для бизнеса показатели.

Пример отчёта в сервисе «А/Б-тесты» Roistat.
Пример отчёта в сервисе «А/Б-тесты» Roistat

Когда A/Б-тест принесёт пользу

Когда нужно проверить гипотезу в сжатые сроки. Например, если вы готовите лендинг к распродаже или мероприятию, и нужно быстро принимать решения. A/Б-тест поможет принимать обоснованные решения и быстро устранять проблемы, связанные с удобством и простотой работы с сайтом.

Когда вы рискуете потерять большую сумму денег, если не протестируете гипотезу. Например, если Amazon изменит цвет кнопки на форме заказа, не проведя АБ-тестирование, компания рискует потерять миллионы долларов за минуту: пользователи просто не поймут, как завершить заказ, и уйдут с сайта.

В таком случае АБ-тест снижает уровень возможных потерь и обеспечивает уверенность в том, что выбор был сделан правильно.

На нашем Telegram-канале делимся полезными материалами по маркетингу и аналитике, кейсами клиентов, собираем познавательные дайджесты и анонсируем бесплатные обучающие вебинары. Подписывайтесь, чтобы ничего не пропустить!

Ко всем статьям →