Что дает добавление еще одной буквы «А» к старому доброму тесту AB и почему этого тоже недостаточно для оценки изменений.
AAB-тест или ABA-тест — это когда трафик делится на три части: первая и вторая отправляются на сайт без изменений, а третья — с изменениями.
Что это дает?
- Более высокая точность испытаний.
Мы считаем, что B дает относительно надежный результат только тогда, когда A и A равны.
- Видны резкие колебания значений А и А; легче понять, какой из факторов, искажающих тест, влиял в этот момент.
- Мы получаем время и объем данных, необходимых для будущих тестов.
Факторы, искажающие результаты тестов
1. Недостаточный трафик/транзакции.Вывод сделан рано, погрешность высокая.
2. Неправильное вращение Система или скрипт, занимающийся вращением, не обеспечивает произвольного и равномерного распределения между тестовыми блоками.
3. Неполная кроссбраузерность.
В некоторых браузерах изменения работают некорректно.
Группа пользователей данного браузера может иметь особые функции.
Исключение их из теста искажает результат. 4. Влияние устройств Изменения могут выглядеть по-разному на разных устройствах.
Например, на больших экранах мелкие детали не так заметны.
5. Эффект новизны Пользователи замечают новый элемент на сайте или его изменение, обращают на него больше внимания и поначалу он работает лучше.
6. эффект привыкания Пользователи привыкли к какому-то элементу и не замечают его изменения; они работают с ним, как со старыми.
7. Пропущенный цикл покупок При измерении конверсии период тестирования может не совпадать с циклом, в котором происходит покупка.
Другие факторы могут сработать раньше, и на момент теста пользователи уже будут подготовлены, тест покажет неверный результат. Кроме того, цикл покупок может иметь длительный или отсроченный эффект и не будет учитываться в результатах тестирования.
8. Другие изменения Очень сложно добиться чистого теста; во время теста могут произойти другие изменения на сайте.
На первый взгляд они могут показаться не связанными друг с другом, но это косвенно повлияет на тест. 9. Сезонные факторы, продажи и изменения товарно-материальных остатков и другие.
Что можно сделать, чтобы уменьшить это влияние?
- проводить сплит-тест только на новых пользователях или на новых и старых пользователях отдельно.
- использовать несколько систем для управления.
- выделить отдельный источник трафика для тестирования.
- сделать ААБ-тесты.
Минимальные значения для тестов
По моему опыту это:за рекламные кампании 500 000, срок 2 недели.Каждый проект имеет свои цифры и определить их поможет тест AAB.на конверсию сайта: 500 транзакций, 2 месяца.
оценить небольшие изменения на сайте: 3 тыс.
сеансов, неделя.
Что делать, если такого количества на сайте нет?
- Примите тот факт, что сплит-тесты вам пока не подходят.
- Оставьте тесты запущенными и позвольте им собирать статистику.
- Используйте другие методы проверки гипотез (опросы, изучение конкурентов, оценка поведения пользователей).
- Работайте над минимизацией искажений в будущих тестах.
Когда-нибудь придет их время, и вы уже готовы.
Классическое АБ-тестирование
Об этом много написано, повторяться не вижу смысла.Возможно, имеет смысл привести ссылки на сервисы, с помощью которых можно делать тесты, в том числе многовариантные: Ээксперименты в Google Analitycs - отличный вариант для новичка.
Changeagain.me , Convert.com , Vwo.com, Optimizely.com — мощные платные сервисы с интеграцией с вашей учетной записью Google Analytics. А/Бинго — серверные фреймворки для Ruby. В рекламной системе Google AdSense функциональные эксперименты там тоже.
я тоже отмечу Онлайн калькулятор критерии значимости сплит-теста 
И картографический сервис по его результатам.
АА-тестирование
Для оценки правильного времени и необходимого количества данных иногда используются АА-тесты, когда на тест ставится одно и то же, без изменений.Такой подход имеет право на жизнь, но требует своего времени.
Кроме того, все может измениться между выполнением АА и тестом АБ.
Плюсы и минусы ААБ
Подводя итог, можно сказать, что AAB-тесты требуют больше ресурсов (трафика, времени, денег), но дают более точный и уверенный результат. Для его улучшения также используется система AABB. В любом случае для нового проекта или типа изменений стоит провести тест ААБ один или два раза, после чего можно перейти к классическому тесту АБ.Всем приятного тестирования! Смотрите также: Как получить максимальный доход от рекламных систем на своем сайте .
Теги: #сплит-тесты #сплит-тестирование #A/B-тестирование #aab-тестирование #Управление разработкой #Управление проектами #Управление электронной коммерцией #Управление продуктом
-
Подходит Ли Мне Передача Голоса По Ip?
19 Oct, 24 -
Услуги По Тиражированию Cd-Dvd – Вот Помощь
19 Oct, 24 -
Microsoft 2.0: Стратегия Cmena
19 Oct, 24 -
Беспроводные Центры Обработки Данных
19 Oct, 24 -
Домашнее Видеонаблюдение На Базе Synology
19 Oct, 24 -
Геймдев И Кризис
19 Oct, 24
