В этой статье, состоящей из трех частей, мы рассказываем о нашем исследовании показателей, на которых вам следует сосредоточиться, чтобы увеличить долгосрочный доход вашего интернет-магазина.
В первая часть обсудили проблемы, которые возникают при оценке LTV пользователей интернет-магазина и как их можно решить с помощью прокси-метрик.
Также мы рассказали о том, как компании из разных сфер ищут такие метрики, и поделились собственным списком найденных метрик, применимых в электронной коммерции.
В вторая часть мы описали техническую сторону выбора прокси-метрик: объяснили, как можно найти и выбрать самые полезные из множества вариантов, насколько хорошо они прогнозируют LTV клиента, могут ли их использовать магазины с разными товарными категориями и т. д. Третья, заключительная часть оказалась более прикладной.
В нем мы обсудим, как выбрать метрики, которые имеют смысл для бизнеса, и на их основе принимать решения, увеличивающие LTV пользователей, а вместе с ним и долгосрочную выручку интернет-магазина.
Интерпретация полученных прокси-метрик с точки зрения бизнеса
Напомним, что во второй части мы выбрали следующие прокси-метрики:- Количество заказов;
- Посетитель оставил электронное письмо;
- Тип браузера;
- Тип устройства;
- Дата последнего посещения сайта;
- Количество просмотренных различных товаров;
- Продолжительность взаимодействия пользователя с сайтом в днях (разница в днях между первым и последним посещением);
- Количество запросов в поисковике сайта;
- Количество товаров, добавленных в корзину.
Теперь давайте попробуем объяснить, как другие функции могут предсказать LTV:
- Посетитель оставил электронное письмо .
Тот факт, что клиент предоставил свои контактные данные, является явным признаком лояльности к магазину.
В некоторых магазинах невозможно оформить заказ, не оставив письмо, и можно предположить, что оставленное письмо — это просто следствие заказа.
Но мы проверили и обнаружили, что просто оставление электронного письма без размещения заказа может положительно повлиять на будущий LTV. Вероятно, это связано с тем, что зная электронную почту пользователя, магазин может с ним общаться, побуждая совершать дальнейшие покупки.
Однако в этом случае многое зависит от эффективности рассылок.
- Тип браузера.
Эта метрика может влиять на LTV, причем для каждого магазина все будет индивидуально: в одном с наибольшей вероятностью совершат покупку в будущем пользователи Safari, в другом — пользователи Firefox. Это может зависеть от категории товара в магазине.Например, если в магазине большой ассортимент техники Apple, пользователи Safari, скорее всего, будут к ней более лояльны.
Другая причина заключается в том, что сайт выглядит и функционирует по-разному в зависимости от браузера.
- Тип устройства .
По сути, вариантов всего два: компьютер и смартфон.
Во многих магазинах мы видим, что покупатели, использующие компьютер, с большей вероятностью будут совершать покупки в будущем.
Это может быть связано с тем, что с него удобнее заказывать и вообще пользоваться сайтом, чем с мобильного устройства.
- Дата последнего посещения сайта.
Метрика напрямую связана с лояльностью пользователей.Например, если человек не заходил на сайт более двух месяцев, возможно, он уже забыл о нем или не нашел интересующий его товар, поэтому вряд ли вернется на него в будущем.
- Количество просмотренных различных товаров .
Чем больше пользователь просматривал разные продукты, тем больше эффективный размер каталога и чем лучше человек знаком с магазином и тем выше вероятность, что он вспомнит о нем, когда захочет что-то купить.
- Продолжительность взаимодействия пользователя с сайтом в днях .
Если человек посещает сайт длительное время в разные дни, это говорит о том, что интернет-магазин интересен пользователю и он знает, что сможет найти там необходимый товар.
- Количество запросов к поисковой системе сайта .
Регулярное взаимодействие пользователя с поисковой системой интернет-магазина свидетельствует о том, что она работает и помогает пользователю хорошо решать его проблемы.
- Количество товаров, добавленных в корзину .
Эта характеристика может коррелировать с характеристиками, связанными с заказами, поскольку некоторые корзины трансформируются в заказы.
Но его охват может быть в разы больше, если в магазине много «брошенных тележек», то есть незавершенных заказов.
Далее мы покажем, почему добавление товара в корзину, даже без последующего заказа, является положительным событием для магазина.
На их основе можно построить модель, которую будет легко интерпретировать и использовать в дальнейшем.
Модель прогнозирования LTV на основе прокси-метрик и формирования общего критерия оценки (OEC)
Мы построили модель логистическая регрессия .В то же время, чтобы коэффициенты модели можно было использовать для количественной оценки силы каждого признака при прогнозировании LTV, мы их все нормализовали и таким образом привели к единой шкале.
Чтобы узнать вероятность совершения покупки в будущем, нужно взять линейную комбинацию признаков и применить к ней сигмоидальную функцию.
Эту линейную комбинацию можно использовать для расчета OEC (термин, который мы ввели в первая часть исследовать.
По сути, это то, что магазину необходимо оптимизировать для достижения своих долгосрочных целей).
Например, если магазин считает, что он может влиять на все атрибуты, кроме типа устройства и браузера, то его OEC можно представить следующим образом: 
В качестве примера мы используем совершенно разные «Магазин 1» и «Магазин 2», которые мы ввели в предыдущая часть статьи Из формул видно, что знаки работают в одном направлении (знаки перед переменными одинаковые) для обоих магазинов.
То же самое относится и к остальным 25 магазинам нашего исследования.
Поэтому можно сказать, что изменяя прокси-метрики в определенном направлении, можно оценить изменение LTV для самых разных типов магазинов.
Но значения коэффициентов могут существенно отличаться по величине.
Например, для двух вышеперечисленных магазинов коэффициент «Количество просмотренных разных товаров» отличается более чем в два раза.
Это говорит о том, что этот прокси-метрик имеет разный вес при прогнозировании LTV в этих магазинах.
Вы можете использовать модель OEC напрямую.
Например, провести эксперимент, измерить разницу в производительности между двумя сегментами, подставить эти различия в линейную комбинацию и посмотреть, в каком направлении меняется OEC. Можно упростить — смотреть изменения отдельных метрик прокси, выбирать сильные изменения, контролировать постоянство остальных метрик прокси и ждать соответствующего изменения LTV. Например, часто в тестах среднее «количество заказов» на одного пользователя сильно не меняется, поскольку доля покупателей обычно невелика, но при этом среднее «количество товаров, добавленных в корзину» или среднее «количество покупок» «просматриваемые разные продукты» на каждого пользователя определяется для большей части пользователей, и они будут меняться еще больше.
Качество работы модели
Мы построили линейные модели для всех 27 магазинов.Они довольно точно прогнозируют покупки в течение следующих 6 месяцев.
Их качество для разных магазинов варьируется от 0,8 AUC до 0,93 AUC. Используя график ниже, вы можете оценить точность модели в «Магазине 1» и «Магазине 2».
График также показывает, что модель хорошо разделяет пользователей по вероятности совершения ими покупки в будущем.
С его помощью можно выявить сегменты с очень высокой вероятностью покупки (> 80%) и почти нулевой (<1%).
Проверка стабильности модели с течением времени
В вторая часть статьи мы проверили стабильность показателей прокси с течением времени.Аналогичным образом мы позаботимся о том, чтобы сама модель, созданная на основе этих возможностей, работала стабильно.
Из графиков видно, что модели стабильно работают во времени.
Модель производительности для разных сегментов пользователей
Модель включает в себя функции, значения которых полезны для прогнозирования LTV практически для всех пользователей, а не только для тех, кто сделал заказ.Посмотрим, как он сможет разделить посетителей по будущему LTV на три сегмента:
- Посетитель не добавил товары в корзину и не оформил заказ;
- Посетитель добавил товары в корзину, но не сделал заказов;
- У посетителя были заказы.
В каждой группе показано количество и процент пользователей, совершивших покупку в течение следующих шести месяцев.
Как мы видим, модель способна идентифицировать пользователей, которые с большей вероятностью совершат покупку (даже если это произойдет через длительный период времени) среди тех, кто ничего не купил или не добавил в корзину.
То есть любая активность пользователей на сайте указывает на его потенциальную ценность для магазина.
Это говорит о том, что за счет увеличения активности пользователей на сайте магазин может рассчитывать на увеличение конечного долгосрочного дохода.
выводы
Мы провели обширное исследование и нашли прокси-метрики, которые можно использовать для прогнозирования будущей ценности пользователя интернет-магазина.Они также будут полезны для оценки ценности изменений интернет-магазина.
Прокси-метрики характеризуют различные действия пользователей на сайте.
Например, «количество просмотренных различных товаров» говорит об вовлеченности пользователя, «продолжительность взаимодействия пользователя с сайтом в днях» и «продолжительность последнего посещения сайта» говорит о возврате на сайт. , «посетитель оставил письмо» и «количество запросов в поисковой системе сайта» — об использовании функционала сайта, «количество товаров, добавленных в корзину» и «количество заказов» — о решении ваших текущих задач (поиск для нужного продукта).
Найденные нами прокси-метрики соответствуют рекомендациям обзорная статья Фокусируйтесь на СЕРДЦЕ: Счастье – удовлетворение, Вовлеченность – вовлеченность, Принятие – использование функционала сайта, Удержание – возврат и Успех задачи – решение проблем.
Также мы показали, что помимо метрик, связанных с заказами: «средний чек», «конверсия на одного покупателя», «доход на одного посетителя» — которые отслеживает и оптимизирует большинство интернет-магазинов, есть и более полезные метрики.
Мы видим большое преимущество предлагаемых нами метрик в том, что они гораздо более чувствительны к изменениям, чем обычно используемые индикаторы заказов, поскольку имеют значения, полезные для прогнозирования LTV для большинства пользователей магазина.
Используя прокси-метрики, можно сформировать OEC. В статье мы предлагаем сделать это с помощью логистической регрессии с учетом экспертизы в конкретном бизнесе при построении формулы ОЭК.
Чтобы найти хорошие прокси-метрики, интернет-магазин может провести такое же исследование или использовать найденные нами прокси-метрики.
Их актуальность проверена на 27 магазинах разного типа, поэтому с высокой вероятностью они будут полезны и для многих других интернет-магазинов.
Авторы: Серик Айбатов, Артем Носков, аналитики RetailRocket Теги: #ltv #электронная коммерция #A/B-тестирование #системы рекомендаций #метрики продукта #Машинное обучение #Машинное обучение #Взлом роста #Управление электронной коммерцией
-
Сравнение Обучения Проектированию Cs4
19 Oct, 24
