При разработке интерфейсов очень важно уметь оценить их качество с точки зрения бизнес-задач, и это часть работы юзабилити-аналитика, говорит эксперт интернет-магазина Е96.ру Александр Олещук.
В рубрике Growth Hacks Олещук рассказал об одном из основных способов оценки новых гипотез в интерфейсах — сплит-тестировании.
Итак, вы решили протестировать свои новые UX и UI-решения путем сравнения.
Хорошая сделка.
Обычно последовательность шагов первого сплит-тестирования выглядит так: запускаются два варианта, через час один из вариантов показывает более высокую конверсию и уходит в производство.
Тестировщик, разработчик, дизайнер и руководитель проекта запасаются попкорном и ждут, когда что-то вырастет в геометрической прогрессии.
Именно в таком виде тест совершенно бесполезен, а может быть, даже вреден, потому что вы уже совершили ошибки космического масштаба.
Ошибка №1. Вам нужно больше людей, чем вы думаете
В ваших контрольных группах недостаточно людей.
Рассчитать необходимое количество участников довольно просто; для этого существует специальная формула: 
N – количество человек в контрольной группе; p — текущий уровень конверсии требуемого действия; в - минимальный обнаруживаемый эффект; 16 – постоянный коэффициент, обеспечивающий 95% уровень уверенности в результате.
Пример.
Имея конверсию текущего события 15% и обнаруживаемый эффект 5% (в сторону увеличения или уменьшения), мы получаем следующий расчет: В каждой версии вашего теста должно быть 816 участников.
Это число поможет вам увидеть статистически значимые изменения за пределами диапазона конверсии от 10% до 20%.
Если вы хотите увидеть изменение на 1% (с 14% до 16%), то вам уже понадобится 20 400 человек в группе.
Посчитайте сами.
Или можно использовать готовый калькулятор .
Ошибка №2. Поделитесь своими источниками
Обратите особое внимание на источники трафика для вашего теста.Разные источники трафика изначально имеют разную мотивацию: если одна контрольная группа получает больше людей от одного источника трафика, а другая — от другого, то разные результаты в контрольных группах будут заслугой первоначальной мотивации пользователей, а не самой достоинство решения пользовательского интерфейса.
Вы можете либо ограничить тест только одним источником и типом (например, новый прямой трафик), либо посмотреть показатели источников по результатам теста.
Проводя в прошлом году тест на коротких и длинных формах заказа, мы заметили, что клиентов, искавших нас (переходы с поисковых систем с наличием «е96» в ключе, прямой трафик, а также старые пользователи) не волновало, какие форму они заполнили, конверсия в данном случае не изменилась.
А вот пользователи платной рекламы и партнерских сетей вообще не захотели заполнять всю форму — конверсия в их случае серьезно упала.
Хотя в целом конвертация опций особо не отличалась.
Ошибка №3. Сэкономлено вовремя
Тест следует проводить столько времени, сколько потребуется для его прохождения всеми типами ваших пользователей.Не больше, не меньше.
В случае с E96.ru мы проводим тесты минимум неделю.
Это дает нам уверенность, что через него пройдут покупатели с разным поведением: оптовые покупатели компаний и домашних пользователей, молодые люди и клиенты старшего возраста, офисные работники и рабочие заводов.
Почти все эти группы людей посетят нас в течение недели.
Ошибка №4. Одинаковые условия для всех
Все участники теста должны видеть на страницах одни и те же данные, влияющие на достижение желаемого результата.В электронной коммерции такими данными являются цены, сроки доставки, наличие товара.
Все это меняется от региона к региону (в других проектах могут быть свои данные).
Если параметр не соблюдается, то он сам становится инструментом влияния на решение пользователя.
Например, наш магазин осуществляет продажи на территории от Ростова-на-Дону до Красноярска.
Цены и сроки доставки в каждом нашем регионе разные: в регионах разные логистические затраты и разные поставщики.
Поэтому для испытаний выбрана Екатеринбургская область.
Это дает нам уверенность в том, что пользователи увидят одну цену, один диапазон и одну дату доставки.
Все эти условия не повлияют на мотивацию людей к покупке.
Ошибка №5. Точно знайте, что мы улучшаем
И последнее, но самое главное: вы должны точно знать, на что направлен ваш эксперимент и что вы хотите с его помощью улучшить.Только имея четкое представление о том, как работает собственный интерфейс, можно прогнозировать изменения метрик.
Нет необходимости проводить тест «так должно быть» или «так должно быть».
В лучшем случае вы не сделаете никаких выводов; в худшем случае вы просто навредите себе неверными толкованиями.
Например, если вы разместите на главной странице видео о своей компании, вы можете сидеть сложа руки и ожидать увеличения продаж, но можете не заметить, как пользователи сайта в первую же секунду уходят, ругаясь на неожиданные звуки и анимацию.
Бывают ситуации, когда улучшаешь одно, а растет другое.
Не ограничивайте свои ожидания одним параметром, посмотрите на свои цели шире.
Таким образом, добавляя больше контента в карточку товара, вы не обязательно увеличите конверсию, но почти наверняка увеличите время, которое пользователь проводит на странице.
Составляя подробный FAQ по гарантийному обслуживанию продаваемого товара, вы лишний раз не будете стимулировать клиента к покупке, но снизите нагрузку на ваш колл-центр.
Как правильно запустить свой первый A/B-тест
Вариант первый: использовать сторонний сервис сплит-тестирования.Таких сервисов много, но по функционалу они все примерно одинаковые, поэтому все, о чем я вам сейчас расскажу оптимизировано.
com , можно применить к любому другому сервису.
Чем хорош сторонний вариант? Его легко интегрировать, просто установив код JavaScript во все шаблоны сайтов.
Это упрощает подготовку шаблонов к тестированию с помощью редактора wysiwyg. Наконец, подобрать нужных посетителей для теста легко: есть геолокация, отслеживание по utm и cookie, простой выбор источников трафика.
Любой тест может отправлять свои данные в Universal Analytics в заранее подготовленном «пользовательском измерении».
Уже там вы можете оценить изменения всех метрик, которые вас интересуют в данный момент. К недостаткам стороннего сервиса можно отнести отсутствие русскоязычной поддержки, оплаты (большие объемы тестируемого трафика могут стоить несколько тысяч долларов), а также определенной вероятности (чем меньше у вас опыта в веб-разработке, тем больше вероятность) взлома всего сайта.
Изменение одного div в редакторе сервисов распространяется на все остальные div того же класса по всем указанным адресам.
Вы можете легко скопировать цену одного товара на весь сайт или показать одну и ту же иллюстрацию телевизора по всему каталогу.
Второй вариант сложный – сделать все самому.
Для этого вам понадобится хороший программист, четкий план действий и знание Universal или Google Analytics. Вам необходимо спланировать два шаблона испытаний и определить, что вы будете измерять.
Программист подготовит эти два шаблона, настроит отправку данных из них в «пользовательские измерения» Universal Analytics, а также распределит трафик по этим шаблонам.
После запуска теста все результаты будут записаны в Analytics. Все, что вам нужно сделать, это дождаться завершения теста и подвести итоги.
A/B-тесты — мощный инструмент аналитики, но они не должны быть единственным в вашем арсенале оценки интерфейса.
Просто правильно размещенные события в Google Analytics и результаты фокус-групповых тестов более точно укажут на ваши текущие проблемы, а A/B-тест просто покажет, какой из двух предложенных вариантов лучше, не дав ни единого намека на третий.
, действительно эффективное решение.
-
Настольный Компьютер — Знайте Это Лучше
19 Oct, 24 -
Как Объединить Pdf-Файлы Вместе
19 Oct, 24 -
Построение Системы Мышления
19 Oct, 24 -
Связь-Экспокомм-2007: Все Серьезно
19 Oct, 24 -
Хакил Для Начинающих
19 Oct, 24
