Retention — ключевая метрика для большинства продуктов. Именно поэтому команды, которые начинают внедрять ML в свои продукты, быстро приходят к вопросу о том, как использовать эти технологии для лучшего удержания пользователей.

Один из наиболее распространенных подходов к решению этой задачи — прогнозирование оттока пользователей (churn prediction). Определив пользователей, которые с высокой вероятностью уйдут, мы можем предложить им скидки, бонусы и другие преимущества, которые позволят удержать их в продукте.

Однако в реальности такие проекты редко приносят ценность бизнесу. Часто у команд получается обучить модель, которая хорошо предсказывает уход пользователей, но им не удается добиться того, чтобы попытки удержать их оказались финансово выгодными.

В этом материале обсудим альтернативный подход к улучшению Retention с помощью ML — uplift-моделирование — и то, как он позволяет эффективнее тратить бюджеты на удержание пользователей.

Все материалы серии об использовании ML/AI в создании продуктов

1. Зачем продакт-менеджеру изучать ML и AI

2. Большие языковые модели: основы для тех, кто хочет строить продукты на их базе

3. Как ML-технологии помогают улучшать Retention продуктов

4. Как найти возможности для применения AI в вашем продукте

5. Базовое руководство для улучшения качества продуктов с LLM

6. Продвинутые методы улучшения качества продуктов с LLM: RAG

7. Почему идеальной ML-модели недостаточно, чтобы построить бизнес вокруг ML

8. Внедрение ML/AI для оптимизации процессов службы поддержки в крупном продукте: разбор кейса

9. AI-cтартапы: продавайте результат работы, а не софт

Суть подхода прогнозирования оттока

Для начала погрузимся в специфику задачи предсказания оттока, чтобы вы понимали отличия подходов.

Как работает обучение модели для прогнозирования оттока пользователей?

Берем исторические данные пользователей, которые ушли и которые продолжают пользоваться продуктом.

↓

Считаем для этих пользователей признаки, которые могут содержать сигнал о том, что пользователь уйдет или останется.

Например, для маркетплейса потенциальными признаками могут быть: как давно пользователь в сервисе, когда совершил последнюю покупку, когда последний раз заходил в приложение, какой был последний отзыв и прочие.

Примеры решений можно найти в этих статьях:

↓

Обучаем на этих данных ML-модель, которая на основе признаков пользователей будет прогнозировать уход пользователей.

Применение модели прогнозирования оттока:

  • После обучения модель применяется к активным пользователям сервиса.
  • Для пользователей с высоким риском ухода можно выделять бюджет для поддержания их лояльности за счет мотивационных механизмов — бонусов, скидок, пушей или других.
  • Мотивационные механизмы необходимы, чтобы предотвратить уход пользователей.
  • Важно следить, чтобы затраты на удержание были меньше, чем дополнительная прибыль от удержанных пользователей.

Проблема подхода прогнозирования оттока

Главная проблема описанного подхода в том, что механики удержания применяются ко всем пользователям, которые собираются уйти. Но не все эти пользователи одинаковы.

Мы можем условно разделить пользователей с высоким риском ухода на следующие категории:

  1. Уйдут в любом случае (никакие действия с вашей стороны не повлияют на их решение).
  2. Можно повлиять, но стоимость удержания выше будущей потенциальной прибыли (таких пользователей можно удержать, но это очень дорого и не имеет экономического смысла).
  3. Можно повлиять и стоимость удержания ниже будущей прибыли (таких пользователей можно удержать, и это выгодно экономически).

Почему важно различать такие группы пользователей?

Затраты на удержание пользователей из первой и второй категории не имеют смысла и будут приносить только убытки. Для эффективного и экономически оправданного влияния на метрику Retention имеет смысл работать только с третьей группой.

В рамках подхода предсказания оттока предполагается работа со всеми группами уходящих пользователей. В рамках же uplift-моделирования основной фокус уделяется именно третьей группе.

Если вы хотите удерживать пользователей в продукте, выстраивайте систему удержания пользователей не на основе прогнозирования оттока, а на основе uplift-моделирования (uplift modelling).

Суть подхода uplift-моделирования

Для обучения модели в рамках uplift-моделирования необходимо провести A/B-эксперимент со следующим дизайном:

  • Часть активных пользователей продукта случайным образом делится на две группы: тестовую и контрольную.
  • К пользователям из тестовой группы применяются механизмы для удержания (бонусы, скидки, специальная коммуникация).
  • Опыт пользователей из контрольной группы не меняется.

В результате такого эксперимента будут получены данные о том, как применение механизмов мотивации и удержания пользователей влияет на их поведение и общие метрики продукта.

В результате мы можем увидеть, что механика удержания:

  • Вообще не работает. В таком случае нет смысла делать ML-модели и надо разбираться с причинами низкой эффективности механизмов удержания.
  • Работает, но не окупается. В таком случае можно пытаться добиться окупаемости за счет более избирательного применения механизмов удержания.
  • Работает и окупается. В таком случае можно двигаться дальше и добиваться еще большей окупаемости за счет более умного применения механизмов удержания.

Во втором и третьем случае имеет смысл переходить к следующему шагу — обучению моделей.

Uplift-моделирование предполагает обучение двух ML-моделей, которые будут предсказывать уход пользователей (как именно это делается, мы разбирали выше):

  • Модели, которая прогнозирует, что пользователь уйдет при отсутствии механизмов удержания. Для обучения этой модели нужно использовать данные из контрольной группы эксперимента.
  • Модели, которая прогнозирует, что пользователь уйдет при наличии механизмов удержания. Для обучения этой модели нужно использовать данные из тестовой группы эксперимента.

Как применять модели:

  • К каждому активному пользователю мы будем применять обе обученные модели и сравнивать их прогнозы.
  • Далее необходимо подсчитать отношение вероятности того, что пользователь уйдет при наличии механизмов удержания, к вероятности того, что пользователь уйдет при их отсутствии.
  • Чем меньше такая величина, тем сильнее влияние механизмов удержания на решение пользователя.
  • Последним шагом мы выбираем порог для отбора пользователей в программу мотивации, чтобы проект удержания пользователей окупался, сопоставляя суммарные затраты на удержание и выгоду от удержания пользователей.

Основная сложность uplift-моделирования состоит в том, что необходимо сначала проводить эксперименты. Часто их надо проводить на достаточно большом объеме пользователей. Это дорого, но необходимо, чтобы получить достаточно данных для обучения.

Что важно запомнить

  1. Если вы хотите удерживать пользователей в продукте, используйте uplift-моделирование. Оно позволит эффективно использовать бюджеты и направлять их на тех пользователей, в случае с которыми предлагаемые механизмы удержания действительно положительно повлияют на поведение.
  2. Классическое прогнозирование оттока лучше использовать как аналитический инструмент для выявления факторов, связанных с решением пользователей об уходе из продукта.
  3. Uplift-моделирование можно использовать не только в проектах удержания пользователей, но и для отбора аудитории маркетинговых акций с целью увеличения их эффективности. Например, маркетплейс может предлагать купоны только тем пользователям, которые без них не совершат покупок, и не предлагать тем пользователям, которые совершат покупки и без купонов.

Эффективно использовать технологии искусственного интеллекта и машинного обучения вам поможет «Симулятор управления ML/AI-проектами» от GoPractice.