Содержание
Как появились АБ-тесты, в каких ситуациях АБ-тестирование бесполезно и как определить лучший вариант лендинга или рекламы без тестирования.
Подпишись на Telegram
Что такое сплит-тесты и причём тут пивоварение
Сплит-тестирование — сравнение двух, реже — более двух, вариантов сайта, дизайна, офферов компании для определения наиболее эффективной версии. Варианты могу отличаться одним элементом, например, расположением заголовка или цветом кнопки, или совершенно отличаться друг от друга. По итогам тестирования выбирают лучшую альтернативу, например, страницу с максимальной конверсией в заявки и продажи.
Подробнее о том, что такое сплит-тестирование и как оно помогает увеличить продажи, читайте в нашем блоге.
Сплит-тестирование началось с пива: в основе сплит-тестирования лежит статистический анализ. Его развивал британский учёный Уильям Сили Госсет, в начале XX века работавший в компании Guinness.
Госсет хотел найти способ улучшить отбор сырья для пивоварения. Для этого он разработал математическое обоснование «закона ошибок» для малых статистических выборок. Сегодня его открытие известно как «t-распределение Стьюдента», которое и легло в основу концепции статистической значимости.
На основе статистических данных принимаются многие решения — от оценки эффективности политической кампании до оттенка синего цвета для гиперссылок на сайте.
Когда сплит-тесты бесполезны: парадокс Фредкина и закон тривиальности Паркинсона
Идеи в основе сплит-тестов содержат парадокс, который может поставить под сомнение ценность полученных данных.
Парадокс Фредкина. Чем больше два одинаковых варианта кажутся одинаково привлекательными, тем сложнее сделать выбор между ними. Из-за парадокса Фредкина выбор между двумя очень похожими вариантами не будет иметь ценности. Нет смысла запускать сплит-тестирование, чтобы определить какая кнопка — тёмно-синяя или светло-синяя — принесёт больше заявок.
Закон тривиальности Паркинсона. В 1955 году К. Норткот Паркинсон описал в своей книге вымышленную встречу, на которой 11 человек принимали решение о строительстве атомной электростанции и навеса для велосипедов. Из-за сложности вопроса только двое участников могли принять участие в обсуждении бюджета на строительство электростанции, который оценивался в $10 000 000. Через две минуты бюджет был утверждён. Обсуждение строительства навеса для велосипедов, стоимостью $2 350, заняло 40 минут, все присутствующие принимали активное участие в обсуждении.
Так Паркинсон показал, что время, затраченное на любой пункт повестки дня, будет обратно пропорционально затраченной денежной сумме. То есть зачастую на неважные решения затрачивается слишком много времени и денег. Поэтому иногда проведение сплит-теста не будет иметь ценности по сравнению с усилиями, которые будут потрачены на его проведение.
Альтернатива сплит-тестам
Проведение сплит-тестов может быть сложным и затратным. Создание второго, тестового варианта, может составлять половину суммы, которую компания потратила на создание первой версии. Поэтому сплит-тестирование стоит проводить только для проверки серьёзных изменений.
Как без сплит-тестов можно определить лучший вариант?
1. Проанализируйте действия пяти пользователей. Первые пять посетивших сайт пользователей обнаруживают более 75% проблем, связанных с простотой и удобством использования страницы. Проанализируйте их поведение — поймёте, как улучшить сайт без сплит-тестирования.
2. Вносите только одно простое изменение. Просто внесите это изменение и посмотрите, что произойдёт. Вместо того, чтобы показывать половине пользователей изменённый заголовок главной страницы и ждать статистически значимых результатов, покажите всем посетителям сайта новый вариант — получите результаты гораздо быстрее. Если страница станет хуже конвертировать посетителей в заявки, откатите её до старого варианта.
Такой способ не имеет такую статистическую точность как A/Б-тестирование, но он упрощает принятие решения о небольших изменениях.
3. Используйте сервис «Сплит-тесты» Roistat. В Roistat можно быстро настроить тестирование: поменять цвет кнопки или варианты главного меню без помощи программистов. Сервис сравнит, сколько заявок, продаж, выручки и прибыли принёс каждый вариант. При необходимости можно добавить другие важные для бизнеса показатели.
Когда split testing принесёт пользу
Когда нужно проверить гипотезу в сжатые сроки. Например, если вы готовите лендинг к распродаже или мероприятию, и нужно быстро принимать решения. A/Б-тест поможет принимать обоснованные решения и быстро устранять проблемы, связанные с удобством и простотой работы с сайтом.
Когда вы рискуете потерять большую сумму денег, если не протестируете гипотезу. Например, если Amazon изменит цвет кнопки на форме заказа, не проведя сплит-тестирование, компания рискует потерять миллионы долларов за минуту: пользователи просто не поймут, как завершить заказ, и уйдут с сайта.
В таком случае сплит-тест снижает уровень возможных потерь и обеспечивает уверенность в том, что выбор был сделан правильно.
На нашем Telegram-канале делимся полезными материалами по маркетингу и аналитике, кейсами клиентов, собираем познавательные дайджесты и анонсируем бесплатные обучающие вебинары. Подписывайтесь, чтобы ничего не пропустить!
