Почему A/B-Тесты Проваливаются И Как Этого Избежать – Советы Основательницы Московских Стриптиз-Клубов

Директор по развитию агентства интернет-маркетинга Матик , управляющий партнер торгового агентства Агни , соучредитель двух стриптиз-клубы в Москве - Девственницы и Бурлеск Артём Овечкин написал Заметка о том, почему большинство A/B-тестов терпят неудачу и почему нужно уделять больше внимания подготовке теста, чем самому тестированию.



Почему A/B-тесты проваливаются и как этого избежать – советы основательницы московских стриптиз-клубов

В соответствии с Marketingcharts.com , A/B-тестирование признано наиболее эффективным методом управления конверсиями.

Из более чем 1000 опрошенных маркетологов в Европе 60% считают этот тип тестирования страниц наиболее эффективным.

Другой, очень популярный метод — анализ путей посетителей на сайте — получил 52% положительных отзывов.

Метод сравнения с конкурентами получил самые низкие оценки – 26%.

Согласно другому исследованию из того же источника, только один из семи A/B-тестов считается статистически репрезентативным и успешным.

По своему опыту могу сказать, что в Рунете A/B-тесты пока не вошли в пул обязательных маркетинговых инструментов.

Это удел либо крупных, либо самых «продвинутых» компаний.

Как показывает практика, тестирование — длительный процесс, который может занять от 1 месяца и более.

В нашей стране большинство компаний предпочитают работать на скорость, а не на качество.

Но, учитывая сокращение рынка и нехватку денег в бизнесе, я могу предсказать, что стимул «быстро тратить деньги» на продвижение значительно утихнет. Тенденция «расходовать бюджет разумно, выполняя подготовительную работу» станет более выраженной.

A/B-тестирование — это тщательная подготовительная работа, способная существенно повысить конверсию сайта.

Например, благодаря A/B-тестам нам удалось повысить конверсию «Корзины» магазина Discus с 1,30% до 3,90%.

Мы протестировали несколько версий «Корзины» и в итоге остановились на совершенно новом дизайне, основанном на принципе «все на одной странице».

Однако, как уже говорилось, большинство тестов показывают незначительные улучшения.

Почему это происходит? Я остановлюсь на нескольких причинах.



Данные Твердая Земля

Основная причина неудачи – отсутствие подготовительных работ. Да, сам подготовительный этап продвижения требует подготовки! Пусть это вас не беспокоит: более тщательная подготовка означает лучшие результаты.

Пришло время привыкнуть к этому! A/B-тестирование — заключительный этап процесса.

Перед началом теста необходимо собрать следующие данные:

  • Юзабилити-анализ сайта, выполненный компетентным специалистом .

    Анализ выявит ключевые ошибки на странице, направит ваше внимание на главное и уточнит, что и почему нужно тестировать.

    Юзабилити-анализ представляет собой карту местности с нарисованными маршрутами от точки А до точки Б.

    Сроки проведения юзабилити-аудита зависят от объема и возраста сайта, а также глубины анализа и варьируются от 1 дня до 2 недели.

    Стоимость колеблется от нуля рублей (базовый анализ «наверху») до нескольких десятков тысяч (глубокий анализ с изучением статистики крупного сайта.

  • Данные о посещаемости сайта за достаточно длительный период времени (от шести месяцев).

    Эти данные покажут, как посетители взаимодействуют с сайтом, помогут выявить слабые места и области для улучшения.

    В правильном случае юзабилити-аналитик использует в своей работе статистические данные.

    Стоимость реализации услуги по сбору статистики – 0 рублей.

    Google Analytics и Яндекс.

    Метрика вам помогут.

  • Наконец, пригодится услуга температурного (хитового) маркетинга.

Суть предварительных шагов заключается в сборе как можно большего количества информации о текущем состоянии сайта.

Ведь чтобы сравнить А и Б, необходимо иметь не только улучшенную версию Б, но и текущую версию А (контрольную).

В остальном непонятно, что именно улучшилось и насколько.

Предварительный этап (перед A/B-тестированием) должен занять у вас 60–70% вашего времени.

Остальные 30-40% — это собственно создание страниц и запуск тестов.

Теперь у вас есть достоверные данные о том, что именно не так с сайтом и какие «точки и зоны» с какой целью следует тестировать.

Это первое отличие правильных тестов от неудачных.

«Неудачники» полагаются на интуицию и здравый смысл («красная кнопка «Купить» должна работать лучше»).

Победители держат в руках статистику прошлых месяцев и подробный анализ от аудитора.

Именно поэтому так важно собирать статистические данные с первых дней жизни сайта.

По данным Marketingcharts.com, только 13% компаний занимаются информационным бизнесом.

Остальные используют интуицию и общие представления о том, «что такое хорошо и что такое плохо» в юзабилити сайта.



Уверенное знание клиентов

Понимание того, почему клиент выбирает ваш сайт и вашу компанию – это еще одна часть подготовительной работы.

Забудьте о «поисковых запросах».

Вам нужно ответить на вопрос: что именно в вас и вашем веб-сайте мотивирует вас совершить покупку? Конечно, вам следует ответить и на отрицательный вопрос: что такого особенного в вас и вашем сайте, что не мотивирует вас совершить покупку? Как вы понимаете, пресловутая красная кнопка «Купить» может повысить конверсию, но если проблема лежит глубже, то оптимизация страницы вверху (косметические изменения) даст жалкий результат, не стоящий затраченных усилий.

На основании ответов на эти вопросы нужно сформулировать гипотезы: что можно сделать, чтобы «нет» превратить в «да».

Известный маркетолог Рик Рэйес рекомендует искать ответы через серию вопросов «ПочемуЭ» вопросы.

Опять отбросьте интуицию и на этот раз идите «в народ».

Спросите как своих клиентов, так и неклиентов, почему они выбрали и не выбрали вашу компанию.

Спросите их: «ПочемуЭ» несколько раз:

  • Почему вы думаете о покупке?
  • Почему вы нажали на ссылку нашего сайта?
  • Почему вы выбрали наш продукт?
  • Почему вы заполнили форму заявки?
  • Почему вы купите у нас снова?
Как вы понимаете, практически каждый вопрос может иметь свою негативную формулировку.

Лично я не очень рекомендую полагаться на автоматические онлайн-опросы.

Люди склонны реагировать поверхностно, когда они не общаются с реальным человеком.

Лучше опросить десять реальных клиентов лично или по телефону, чем охватить бездушной программой сотню людей.

Контакт с живым человеком – вот что даст вам понимание.



Прочная основа дизайна

Эксперты рекомендуют использовать каркасы в качестве прочной основы для создания дизайна тестовых страниц.

Каркасы или модели — это эскизы страниц, используемые в качестве гипотез.

Однако лучше один раз увидеть, как это выглядит. Каркасы создаются быстрее, чем готовые дизайны страниц.

На этом этапе прорабатываются гипотезы улучшений и сценарии реакции посетителя на тот или иной вариант. В некоторых случаях к оценке каркасов могут быть привлечены несколько реальных клиентов.

Однако я лично не ожидал бы существенного эффекта от участия «обычных людей», поскольку оценка гипотез и дизайнов — сложная тема, и не все клиенты обладают достаточным уровнем абстрактного мышления для оценки вайрфреймов.

Если у вас есть надежная аналитика, отчет об опросе клиентов и несколько утвержденных каркасов, вы готовы провести настоящее A/B-тестирование.

Закажите создание готовых страниц на основе вайрфреймов и «запустите их в мир».

И тогда вы попадаете в одну из семи компаний, чьи A/B-тесты дают значительные результаты.




Отправлять собственные кейсы, в результате которых вам удалось существенно улучшить (или, наоборот, ухудшить) производительность проекта.

Интересные эксперименты обязательно попадут на страницы раздела Growth Hacks.

Вместе с данным постом часто просматривают: