Исследование агентства ConversionXL Маркетолог агентства ConversionXL Алекс Биркетт взял интервью у экспертов и собранный советы, что делать, если A/B-тесты не показывают четких результатов.
Редакция рубрики Growth Hacks публикует перевод материала.
Представьте, что вы запускаете тест и запускаете его.
по всем правилам , но результаты оказались неоднозначными.
Что делать в этом случае? Как ни странно, многие тесты не показывают ожидаемых результатов.
Специалисты по экспериментальному двигателю требовать , что от 50% до 80% результатов тестов сложно назвать однозначными, поэтому «лучше просто привыкнуть».
На этой диаграмме показано распределение вероятностей того, насколько разными будут два тестируемых вами значения.
Источник Другие оценки показывают, что A/B-тесты терпят неудачу где-то в 80–90 % случаев, когда вариант A недостаточно отличается от варианта B, чтобы оправдать новую бизнес-тактику.
Такое положение дел может помешать дальнейшему тестированию.
Как сказано в статья Harvard Business Review: «Для многих менеджеров отсутствие действий, вытекающее из результатов теста, означает, что тест бесполезен.
Поэтому, когда большинство тестов терпят неудачу, они не могут не задаться вопросом, не было ли тестирование пустой тратой времени и денег».
ВВО И Convert.com подсчитали, что только один из семи A/B-тестов приносит заметные результаты.
Однако тот же Convert показал, что из тестов, проводимых оптимизационными агентствами, каждый третий тест дает статистически достоверные результаты.
Поскольку смешанные результаты A/B-тестов — это скорее норма, чем исключение, я хочу понять, что с этим можно сделать.
Сегментировать данные
Первое, что вам следует сделать, если ваш A/B-тест не дал результатов, — это просмотреть сегменты данных.Брайан Мэсси из Конверсионные науки описал происходит , где анализ отдельных сегментов помог получить более точные данные с помощью мощного и хорошо продуманного сплит-теста.
Вывод Брайана был примерно таким: «Если вы тестируете два сегмента одновременно, поведение одного из них может свести на нет результаты другого сегмента».
Если тест дает неоднозначные результаты, попробуйте рассмотреть его с точки зрения ключевых сегментов, таких как устройства, источники трафика или что-то еще, что может повлиять на ваш бизнес.
Будьте осторожны: чтобы претендовать на четкие результаты, вам необходимо убедиться, что эти сегменты имеют достаточный размер образца.
В случае с Месси тестирование видеороликов, размещенных внизу сайта магазина одежды, дало неоднозначные результаты.
И хотя видео обычно увеличивается конверсии, тест показал, что страницы с видео работали не лучше, чем текстовые страницы.
Сегментация пользователей выявила следующее:
- Новые посетители сайта предпочитали смотреть длинные видеоролики, а постоянные посетители выбирали более короткие ролики.
- Посетителям, пришедшим на сайт через страницы товаров, и тем, кто зашел через главную страницу, понравились разные типы видео.
- У подписчиков-энтузиастов коэффициент конверсии был выше, чем у других сегментов, когда они смотрели видео с большими изображениями продуктов.
Разбив трафик на сегменты, Месси смог определить области для дальнейшего исследования.
-
Джастин Рондо директор по оптимизации Цифровой маркетолог - При работе с сегментами следует быть осторожными.
Точно так же, как средние значения не отражают всей картины, сегменты показывают только часть информации.
Даже если вы просто изучаете трафик, вам, вероятно, не хватит данных, чтобы сделать однозначные выводы о поведении пользователей.
- Если вы просто хотите использовать сегментацию для доставки нужного контента нужным людям, попробуйте:
- 1. инвестировать в технологии;
- 2. будьте очень дотошны в отчетности (особенно если проводите сплит-тестирование).
- Помните, что сегменты рассказывают лишь часть истории, иначе работа с ними может превратиться в настоящий кошмар.
Я работаю с ними только в том случае, если это может принести мне значительную прибыль или много лидов.
- Если вы просмотрели свои сегменты и не нашли ничего ценного, спросите себя, стоит ли придерживаться своей гипотезы или лучше перейти к следующему пункту в вашем списке.
Продолжить или переключиться
Что лучше: снова и снова перебирать разные версии одной и той же гипотезы или взяться за другую? И.Дж.
Лоулесс из Экспериментальный двигатель в его статье утверждает : Если ваш тест основан на контрольном списке, взятом из Интернета, или вы используете его для подтверждения чьего-то мнения, возможно, лучше отказаться от него и перейти к чему-то действительно важному.
Не тестируйте всякую ерунду
Если внесенные изменения слишком малы или незаметны, результаты вашего A/B-теста, скорее всего, будут неоднозначными.
Здесь пример из GrooveHQ: 
Тест, в ходе которого был изменен цвет кнопки подписки на веб-сайте, не дал существенных результатов.
Но это один из самых часто проводятся тесты.
Конечно, такие гиганты, как Amazon или Google, с их миллионами посетителей в день, могут позволить себе проводить масштабные статистические исследования косметических изменений.
Но более мелкие компании должны сосредоточиться на достижении более значимых результатов.
Второй пример предоставил Алекс Башинский, сооснователь Пикрил .
Его компания хотела повысить социальную значимость страницы своего сайта, поэтому протестировала два дизайна логотипа для разных СМИ: Версия А.
Цветные логотипы со ссылками: 
Версия Б.
Серые логотипы без ссылок: 
И вот результаты: разницы нет. 
Урок: Оказывается, посетители сайта вообще не обращают внимания на цвета логотипа.
Если ваш последний тест оказался безрезультатным, возможно, идея для него пришла вам из статьи с захватывающим названием «Протестируйте сейчас».
Вместо этого попробуйте протестировать варианты, которые действительно что-то значат для ваших посетителей.
Кроме того, оптимизация тестирования — это процесс.
Здесь много фреймворков, но я предлагаю использовать нашу модель ИсследованияXL собирать идеи и расставлять их приоритеты.
Будь смелее
Итак, ваши тесты должны основываться на количественных и качественных данных (а не на чужом мнении).Кроме того, вам следует проверить то, что действительно важно для ваших посетителей.
Иногда это требует определенная смелость.
-
Кайл Раш Руководитель отдела проектирования и оптимизации Хиллари для Америки - Часто на всякий случай вы проверяете самую консервативную версию своей гипотезы.
Но небольшие изменения обычно не приводят к значительным результатам.
При проведении A/B-тестирования сначала убедитесь, что ваша гипотеза верна.
Зная это наверняка, вы сможете настроить его более точно.
Итеративное тестирование: не сдавайтесь сразу
Если вы строго соблюдаете процедуру тестирования, но не получаете четких результатов, возможно, вам следует перепроверить свою гипотезу и подумать, что в ней можно изменить, как советует И.Джи.
Лоулесс.
-
Пип Лажа основатель КонверсияXL - Давайте представим, что на нашей странице заказа есть много качественных данных.
Но опросы показывают, что люди опасаются доверять сайтам информацию о своих кредитных картах.
Очевидно, наша цель — усилить впечатление безопасности, которое создает эта страница.
Сколько существует способов сделать это? Бесконечно много.
И если вы попробовали всего один метод из тысячи и получили неоднозначный результат, это не значит, что ваша гипотеза неверна.
Если у вас есть убедительные данные, указывающие на проблему, продолжайте итерацию.
Запускайте столько вариантов теста против контрольной группы, сколько позволяет ваш трафик, запускайте много A/B-тестов подряд, пробуйте разные способы решения проблемы.
Если ваша тестовая гипотеза основана на предположении «давайте просто попробуем это», попробуйте проверить что-нибудь другое.
Хотя мы не уверены на 100% в этой гипотезе (даже если тесты были положительными, мы мы не знаем точно, почему это работает; просто у нас есть несколько возможных версий), нам нужно сделать все, чтобы укрепить это доверие.
Это называется итеративное тестирование .
Обратите внимание на стратегию
Если ваши тесты постоянно дают неоднозначные результаты, имеет смысл пересмотреть свою стратегию.
-
Пол Роук Основатель и директор департамента оптимизации PRWD - Первый вопрос, который вы должны задать себе: действительно ли мы регулярно получаем неоднозначные результаты? Если 20% ваших тестов дают неоднозначные результаты, вам необходимо проанализировать свои гипотезы и вспомнить, чего именно вы пытаетесь достичь с помощью своей стратегии оптимизации.
Задайте себе следующие вопросы:
- 1. Есть ли реальное «почему» в основе нашей тестовой гипотезы?
- 2. Повторите этот вопрос
- 3. Наши изменения слишком малы, заметят ли их посетители?
- 4. Обращают ли посетители внимание на вносимые нами изменения?
- 5. Понимаем ли мы, какие методы следует использовать для влияния на принятие решений?
Что такое смешанные результаты?
Проверяете ли вы мнения или суждения, на которых основываете свое исследование? Даже если вы не получите того, что ожидаете, неоднозначные результаты могут показать вам, какие изменения оказывают незначительное влияние или вообще не влияют на ваших посетителей, что само по себе является ценным знанием.
-
?Эндрю Андерсон руководитель отдела оптимизации Малваребайты - Что на самом деле означает «неоднозначно»? Только то, что вы не получили ответа, на который надеялись.
Возможно, метрики, которые вы тестируете, не имеют большого значения.
Знать, что что-то не оказывает особого влияния, уже очень ценно, а значит, результат такого теста далеко не неоднозначен.
Является ли это двусмысленностью, когда вы сосредоточены на обосновании конкретной идеи, но результаты не показывают заметных изменений? Как определить неоднозначность, если вы смотрите только на одну или две точки и разница между ними невелика? У вас есть идея (какой-то прогноз, хотя вы называете это гипотезой), вы ее тестируете, но на выходе получается очень маленькая разница.
Если вы правильно определите естественную дисперсию (для большинства сайтов она составляет около 3%, то есть все, что находится между −3% и 3%, невозможно обнаружить), в этот пул попадет множество вещей.
Если такое произойдет, значит ли это, что ваша идея не особенно важна? Нет, потому что у вас есть только одна точка данных.
Ваша идея верна? Скорее всего, не полностью, но вы понятия не имеете, что именно с ним не так.
-
?Эндрю Андерсон руководитель отдела оптимизации Малваребайты - Допустим, мы узнаем, влияет ли копирование на эту страницу.
Если я протестировал большой бета-диапазон, сделал 10 итераций и все они не дали заметного результата, я могу быть уверен, что копирование не даст никакого эффекта.
Но если 8 из них ничего не показали, а 2 дали результат, это означает лишь то, что с нами что-то происходит. Когда вы пытаетесь устранить субъективные влияния, вы сосредотачиваетесь на реальной ценности перемен и всех способах их достижения.
Это позволяет вам узнать больше, тем самым увеличивая результативность ваших тестов и избегая «неоднозначных» результатов.
Вам необходимо получить достаточно данных, чтобы правильно оценить факторы, влияющие на ваш бизнес.
Ценность нейтральных тестов
Все любовь победить.Неожиданный скачок результатов сплит-теста вызывает бурю положительных эмоций, но, к сожалению, это исключение, а не норма.
Однако не делайте вывод, что неоднозначные A/B-тесты — пустая трата времени.
В любом случае, вы можете многому у них научиться.
Григорий Коган в статье для блога Optimizely пишет о том, как можно извлечь пользу из нейтральных тестов.
Когда вы получаете неоднозначные результаты, вам нужно спросить себя: «Какую гипотезу опровергнут нейтральные результатыЭ» Проблема может быть не в том, что вы думаете.
В качестве примера Григорий приводит тест, который он сам недавно провел:
-
Григорий Коган консультант по привлечению клиентов - Если бы мы связали свои ожидания только с победой, то испытание вряд ли было бы для нас полезным и вскоре мы снова оказались бы с чистым листом.
К счастью, мы увидели в этом тесте возможность чему-то научиться и поближе познакомиться с нашей целевой аудиторией.
Это исследование принесло свои плоды: мы обнаружили, что из-за небольшой разницы между потоками заказов существующих и новых посетителей сайта некоторые из них никогда не видели новые варианты, но все же были включены в результаты исследования.
Это исказило результаты в пользу существующих пользователей, которых на самом деле новая страница заказа произвела гораздо меньшее впечатление.
Как только мы это поняли, мы повторили тест, используя более точный метод активации (оптимизируем ручную активацию).
Во время второй итерации они обнаружили, что изменение улучшило производительность на 5%.
Для интернет-магазина это существенное увеличение дохода.
Если бы мы гонялись только за победой, мы бы пропустили первый тест, который дал неоднозначные результаты, и потеряли бы возможность увеличить скорость выполнения заказов и доход.
Если вы протестируете разные ценовые варианты и не увидите разницы в результатах, это принесет вам огромную пользу.
Это был один из неудачных тестов в Groove. Они проверено изменение цены небольшое, и тест не выявил существенных различий: 
Но если разницы нет, то можно установить максимальную цену.
Тест показал, что конверсия не изменилась при ценах $29, $35 и $39. Если да, то мы устанавливаем цену на уровне 39 долларов.
Рассмотрите возможность микроконверсий
Даже если ты не собирался этого делать оптимизировать микроконверсий, Кайл Раш предлагает вам «измерить больше, чем вы изначально планировали».Джастин Рондо советует то же самое.
-
Джастин Рондо директор по оптимизации Цифровой маркетолог - Я считаю исследование микроконверсий очень полезным.
Повышая микроконверсии в своей воронке, вы можете использовать их в качестве индикатора, особенно в тех случаях, когда продаж недостаточно для получения четкого результата тестирования.
Расслабляться
Многие из людей, с которыми я разговаривал во время написания этой статьи, предлагали просто сдаться, если у вас кончились идеи.За что? Хотя бы ради экономии ресурсов.
-
Кайл Раш Руководитель отдела проектирования и оптимизации Хиллари для Америки - Когда мои тесты дают неоднозначные результаты, я могу просто отказаться от них.
Я делаю это, потому что знаю, что добавляя в пользовательский интерфейс всё больше и больше компонентов, вы увеличиваете не столько коэффициент конверсии, сколько общую загромождённость.
Если вам придется иметь дело с большим количеством компонентов, это только помешает вам получить сколько-нибудь заметные результаты.
Поэтому я обычно добавляю только те компоненты, которые хорошо зарекомендовали себя в A/B-тестах.
Из этого правила есть исключение.
Возможно, вы тестируете что-то, что соответствует юридическим требованиям, или какой-то атрибут бренда, который будет хорошо работать в долгосрочной перспективе.
В этих случаях вам, скорее всего, придется работать со всем вашим трафиком.
Или выберите то, что вам нравится
Если разницы нет, вы можете выбрать то, что вам больше нравится.
-
Джастин Рондо директор по оптимизации Цифровой маркетолог - Если заметной разницы нет (или коэффициент конверсии искусственно повышен из-за небольшого размера выборки), я выбираю тот вариант, который мне больше нравится.
Если эффективность одинаковая, можно с одинаковым успехом идти в любом направлении.
Это не окончательное решение, а всего лишь новая отправная точка.
Обычно у меня есть список из нескольких новых итераций теста, и я просто перехожу к следующей.
-
Пол Роук Основатель и директор департамента оптимизации PRWD - Допустим, тест не принес однозначных результатов.
Если предположить, что ваш тест основан на разумной гипотезе, то нет ничего плохого, если вы продолжите тестирование, выбрав некоторые из своих вариантов в качестве отправной точки.
Но это все же вопрос политики: точно так же вы можете прислушаться к мнению клиентов или своего начальника.
Заключение
Победителей любят все, но отраслевая статистика показывать что большинство тестов не дают ожидаемых результатов.Многие тесты в принципе не могут дать однозначный результат, и это может негативно сказаться на всей программе оптимизации.
Если вы получили смешанные результаты (даже если вы все сделали правильно и учли дисперсию), вы можете выбрать несколько вариантов дальнейших действий, рекомендованных специалистами по оптимизации.
Конечно, все эти советы должны быть адаптированы к вашей конкретной ситуации (сегментация ничего не даст, если у вас недостаточно трафика или вы тестируете чушь).
Вот проверенные советы:
- Рассмотрим разные сегменты и введем индивидуальные правила.
- Реализуйте несколько итераций своей гипотезы.
- Протестируйте крайние варианты и поймите, почему нет результата: проблема реализации или недостаток влияния?
- Попробуйте что-нибудь новое (следующий пункт в списке).
- Попробуйте что-нибудь более радикальное.
- Отслеживайте микроконверсии и выбирайте один из вариантов, если он увеличивает важные коррелирующие показатели.
Выбирайте первое, если вы стремитесь быть дисциплинированным и эффективным, или второе, если хотите немного поиграть в политику (иногда в программу оптимизации могут потребоваться дополнительные вливания).
-
Как Увидеть Звезды И Планеты Возле Солнца?
19 Oct, 24 -
Сивелкирия Ос: Пример Построения Программы
19 Oct, 24 -
Невероятная Машина Или Мой Лучший Тест
19 Oct, 24 -
Сферические Панорамы Марса И Curiosity
19 Oct, 24 -
Транспортировка Из Irc В Jabber
19 Oct, 24 -
«Барский» Маркетинг От «Стрима»
19 Oct, 24
