Retention — ключевая метрика для большинства продуктов. Именно поэтому команды, которые начинают внедрять ML в свои продукты, быстро приходят к вопросу о том, как использовать эти технологии для лучшего удержания пользователей.
Один из наиболее распространенных подходов к решению этой задачи — прогнозирование оттока пользователей (churn prediction). Определив пользователей, которые с высокой вероятностью уйдут, мы можем предложить им скидки, бонусы и другие преимущества, которые позволят удержать их в продукте.
Однако в реальности такие проекты редко приносят ценность бизнесу. Часто у команд получается обучить модель, которая хорошо предсказывает уход пользователей, но им не удается добиться того, чтобы попытки удержать их оказались финансово выгодными.
В этом материале обсудим альтернативный подход к улучшению Retention с помощью ML — uplift-моделирование — и то, как он позволяет эффективнее тратить бюджеты на удержание пользователей.
Все материалы серии об использовании ML/AI в создании продуктов
1. Зачем продакт-менеджеру изучать ML и AI
2. Большие языковые модели: основы для тех, кто хочет строить продукты на их базе
3. Как ML-технологии помогают улучшать Retention продуктов
4. Как найти возможности для применения AI в вашем продукте
5. Базовое руководство для улучшения качества продуктов с LLM
6. Продвинутые методы улучшения качества продуктов с LLM: RAG
7. Почему идеальной ML-модели недостаточно, чтобы построить бизнес вокруг ML
8. Внедрение ML/AI для оптимизации процессов службы поддержки в крупном продукте: разбор кейса
9. AI-cтартапы: продавайте результат работы, а не софт
10. Новый этап развития генеративного AI: что это значит для стартапов и инвесторов?
Суть подхода прогнозирования оттока
Для начала погрузимся в специфику задачи предсказания оттока, чтобы вы понимали отличия подходов.
Как работает обучение модели для прогнозирования оттока пользователей?
Берем исторические данные пользователей, которые ушли и которые продолжают пользоваться продуктом.
↓
Считаем для этих пользователей признаки, которые могут содержать сигнал о том, что пользователь уйдет или останется.
Например, для маркетплейса потенциальными признаками могут быть: как давно пользователь в сервисе, когда совершил последнюю покупку, когда последний раз заходил в приложение, какой был последний отзыв и прочие.
Примеры решений можно найти в этих статьях:
- “”;
- “”;
- “”.
↓
Обучаем на этих данных ML-модель, которая на основе признаков пользователей будет прогнозировать уход пользователей.
Применение модели прогнозирования оттока:
- После обучения модель применяется к активным пользователям сервиса.
- Для пользователей с высоким риском ухода можно выделять бюджет для поддержания их лояльности за счет мотивационных механизмов — бонусов, скидок, пушей или других.
- Мотивационные механизмы необходимы, чтобы предотвратить уход пользователей.
- Важно следить, чтобы затраты на удержание были меньше, чем дополнительная прибыль от удержанных пользователей.
Курс «AI/ML-симулятор для продакт-менеджеров» в группе с ментором:
🔹 Научитесь видеть возможности для применения AI/ML в вашей текущей роли
🔹 Запустите собственный продукт с AI/ML→ ←
Проблема подхода прогнозирования оттока
Главная проблема описанного подхода в том, что механики удержания применяются ко всем пользователям, которые собираются уйти. Но не все эти пользователи одинаковы.
Мы можем условно разделить пользователей с высоким риском ухода на следующие категории:
- Уйдут в любом случае (никакие действия с вашей стороны не повлияют на их решение).
- Можно повлиять, но стоимость удержания выше будущей потенциальной прибыли (таких пользователей можно удержать, но это очень дорого и не имеет экономического смысла).
- Можно повлиять и стоимость удержания ниже будущей прибыли (таких пользователей можно удержать, и это выгодно экономически).
Почему важно различать такие группы пользователей?
Затраты на удержание пользователей из первой и второй категории не имеют смысла и будут приносить только убытки. Для эффективного и экономически оправданного влияния на метрику Retention имеет смысл работать только с третьей группой.
В рамках подхода предсказания оттока предполагается работа со всеми группами уходящих пользователей. В рамках же uplift-моделирования основной фокус уделяется именно третьей группе.
Если вы хотите удерживать пользователей в продукте, выстраивайте систему удержания пользователей не на основе прогнозирования оттока, а на основе uplift-моделирования (uplift modelling).
Суть подхода uplift-моделирования
Для обучения модели в рамках uplift-моделирования необходимо провести A/B-эксперимент со следующим дизайном:
- Часть активных пользователей продукта случайным образом делится на две группы: тестовую и контрольную.
- К пользователям из тестовой группы применяются механизмы для удержания (бонусы, скидки, специальная коммуникация).
- Опыт пользователей из контрольной группы не меняется.
В результате такого эксперимента будут получены данные о том, как применение механизмов мотивации и удержания пользователей влияет на их поведение и общие метрики продукта.
В результате мы можем увидеть, что механика удержания:
- Вообще не работает. В таком случае нет смысла делать ML-модели и надо разбираться с причинами низкой эффективности механизмов удержания.
- Работает, но не окупается. В таком случае можно пытаться добиться окупаемости за счет более избирательного применения механизмов удержания.
- Работает и окупается. В таком случае можно двигаться дальше и добиваться еще большей окупаемости за счет более умного применения механизмов удержания.
Во втором и третьем случае имеет смысл переходить к следующему шагу — обучению моделей.
Uplift-моделирование предполагает обучение двух ML-моделей, которые будут предсказывать уход пользователей (как именно это делается, мы разбирали выше):
- Модели, которая прогнозирует, что пользователь уйдет при отсутствии механизмов удержания. Для обучения этой модели нужно использовать данные из контрольной группы эксперимента.
- Модели, которая прогнозирует, что пользователь уйдет при наличии механизмов удержания. Для обучения этой модели нужно использовать данные из тестовой группы эксперимента.
Как применять модели:
- К каждому активному пользователю мы будем применять обе обученные модели и сравнивать их прогнозы.
- Далее необходимо подсчитать отношение вероятности того, что пользователь уйдет при наличии механизмов удержания, к вероятности того, что пользователь уйдет при их отсутствии.
- Чем меньше такая величина, тем сильнее влияние механизмов удержания на решение пользователя.
- Последним шагом мы выбираем порог для отбора пользователей в программу мотивации, чтобы проект удержания пользователей окупался, сопоставляя суммарные затраты на удержание и выгоду от удержания пользователей.
Основная сложность uplift-моделирования состоит в том, что необходимо сначала проводить эксперименты. Часто их надо проводить на достаточно большом объеме пользователей. Это дорого, но необходимо, чтобы получить достаточно данных для обучения.
Что важно запомнить
- Если вы хотите удерживать пользователей в продукте, используйте uplift-моделирование. Оно позволит эффективно использовать бюджеты и направлять их на тех пользователей, в случае с которыми предлагаемые механизмы удержания действительно положительно повлияют на поведение.
- Классическое прогнозирование оттока лучше использовать как аналитический инструмент для выявления факторов, связанных с решением пользователей об уходе из продукта.
- Uplift-моделирование можно использовать не только в проектах удержания пользователей, но и для отбора аудитории маркетинговых акций с целью увеличения их эффективности. Например, маркетплейс может предлагать купоны только тем пользователям, которые без них не совершат покупок, и не предлагать тем пользователям, которые совершат покупки и без купонов.
Эффективно использовать технологии искусственного интеллекта и машинного обучения вам поможет «Симулятор управления ML/AI-проектами» от GoPractice.
