Когортный анализ. Метрики продукта vs метрики роста

Когортный анализ — это очень эффективный инструмент продуктовой и маркетинговой аналитики.

Из статьи вы узнаете:

• В чем состоит суть когортного анализа;
• Чем метрики роста отличаются от метрик продукта;
• Почему попытки построить продуктовую аналитику, основываясь на метриках роста, заканчиваются плачевно;
• Как я использую когортный анализ в маркетинге и в продуктовой аналитике;
• За какими метриками продукта необходимо следить и почему.

Чтобы глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в GoPractice.

→ Программа «Профессия: продакт-менеджер» поможет вам перейти в продакт-менеджмент из смежной роли или индустрии.

→ В «Симуляторе управления продуктом на основе данных» вы научитесь принимать решения с помощью данных и исследований при создании продукта.

→ В «Симуляторе управления ростом продукта» найдете пути управляемого роста и масштабирования продукта.

→ В «Симуляторе SQL для продуктовой аналитики» поймете, как применять SQL для решения продуктовых и маркетинговых задач.

→ В «Симуляторе управления ML/AI-проектами» научитесь применять технологии машинного обучения с пользой для бизнеса.

→ Не знаете с чего начать? Пройдите бесплатный тест для оценки навыков управления продуктом. Вы определите свои сильные стороны и слепые зоны, получите план профессионального развития.

→ Еще больше ценных материалов и инсайтов — в телеграм-канале GoPractice.

Когортный анализ в маркетинге и продуктовой аналитике

Давайте попробуем сравнить два автомобиля и узнать, какой из них лучше?

• Первый проехал 2000 км, а второй — 12 000 км;
• Первым автомобилем сейчас пользуются 5 раз в неделю, а вторым 4 раза в неделю;
• Первый автомобиль в последний месяц в среднем проезжал 10 км, а второй — 20 км;
• В данный конкретный момент первый автомобиль едет на скорости 100 км/ч, а второй автомобиль едет на скорости 70км/ч.

К сожалению, на основе имеющейся информации невозможно ответить на поставленный вопрос. Но почему-то как только доходит до интернет-проектов или мобильных приложений, то все начинают следить за метриками вроде DAU, MAU, дохода, общего количества регистраций, и пытаться на их основе делать выводы о продукте, влиянии изменений и эффективности маркетинговых активностей.

Перечисленные выше метрики являются метриками роста. За ними полезно следить для общего понимания ситуации, но применительно к работе над продуктом подобные метрики бесполезны, так как на их основе невозможно принимать продуктовые решения, равно как и оценивать влияние продуктовых изменений.

Когда вы работаете над продуктом, то вас должны интересовать, в первую очередь, его «объем» и «плотность», а не его «масса». «Масса» просто констатирует факт, не объясняя, откуда она взялась и как на нее повлиять. Вы же должны стремиться к тому, чтобы разложить ключевые метрики на составляющие, декомпозировать их, определяя рычаги воздействия на них. Основной задачей при работе над продуктом является определение рычагов воздействия и поиск способов влияния на них.

В этой деятельности вам не обойтись без аналитики. Аналитика является обратной связью на ваши действия, вашими глазами в продуктовом мире. Сначала аналитика позволяет вам понять, где вы находитесь, что за продукт вы сделали, как им пользуются в реальном мире, а затем позволяет увидеть то, как ваши действия, вносимые изменения влияют на ваш продукт. Аналитикой на картинке ниже я называю этапы: Measure, Data, Learn.

Одним из наиболее эффективных инструментов продуктовой аналитики является когортный анализ. Именно о нем сегодня пойдет речь.

Почему метрики роста бессмысленны для аналитики продукта

Давайте рассмотрим следующую модельную ситуацию. Есть продукт, который обладает следующими характеристиками:

• Стоимость привлечения пользователя составляет $1;
• Средний доход с одного пользователя составляет $2 в течение следующих 4 месяцев;
• 30% новых пользователей продолжают пользоваться продуктом спустя месяц (далее доля постепенно снижается до 15%);
• Команда продвижения привлечет 10 тысяч новых пользователей в первый месяц после запуска, 15 тысяч во второй, 20 тысяч в третий и так далее;
• Продакт-менеджер, который отвечает за развитие продукта, вносит в него изменения каждый месяц. Изменения неудачные, поэтому после каждого из изменений доход с пользователя падает на $0,1, а доля пользователей, продолжающих использовать продукт, падает на 2%.

В компании, где разрабатывается этот продукт, принято следить за месячной аудиторией (MAU или Monthly Active Users) и прибылью каждого из проектов. На основе этих метрик выставляются KPI и оцениваются успехи команды, работающей над продуктом.

Следя за выбранными метриками, спустя первые 9 месяцев руководство было очень довольно результатами нового продукта, в том числе и успехами продакт-менеджера. Но вспомните — наш продакт-менеджер каждый месяц портит продукт! При этом метрики роста уверенно идут вверх.

Ниже приведены те же самые графики, но уже за 16 месяцев. На этих графиках мы, наконец, видим первые признаки неудачных изменений продукта. Но лишь спустя 12 месяцев!

Дело в том, что на метрики роста влияют две составляющие: продукт и продвижение. Следя за метриками роста, вы не можете просто отделить эти два фактора. Именно по этой причине метрики роста совершенно не подходят для продуктовой аналитики.

При правильно построенной аналитике мы бы увидели неудачное влияние обновлений продукта еще в первые недели или месяцы.

Суть когортного анализа

В каждый конкретный день аудитория вашего продукта представляет из себя смесь тех, кто начал использовать ваш сервис сегодня, вчера, месяц назад и так далее. Следить за этой неоднородной массой и пытаться делать выводы — крайне неблагодарное занятие.

Идея когортного анализа состоит в том, чтобы разделить пользователей на группы по определенным признакам, и отслеживать поведение этих групп во времени.

Обычно группы пользователей (когорты) выделяют на основе недели или месяца, когда пользователи пришли в приложение. Выделив такие группы пользователей (когорты), вы следите за ними в течение времени и измеряете ключевые метрики для каждой отдельной когорты. Таким образом, сравнивая показатели мартовской и майской когорт пользователей, вы можете объективно сравнивать соответствующие этим периодам времени версии продукта.

Для более глубокой аналитики выделенные когорты необходимо дополнительно сегментировать на основе источника трафика, платформы, страны и других факторов, которые имеют смысл в вашем конкретном продукте.

Скорее всего, значения ваших ключевых метрик будут отличаться для разных сегментов, ровно как и разные продуктовые изменения будут по-разному влиять на разные сегменты пользователей.

Ключевые метрики продукта — LTV и CAC

Две ключевые метрики, которые в конечном итоге определяют финансовую успешность вашего продукта, — это LTV (Lifetime Value) и CAC (Customer Acquisition Cost).

LTV — прибыль, которую средний пользователь приносит за все время использования приложения. CAC — ваши затраты на привлечение среднего пользователя.

Я не буду подробно останавливаться на вопросе измерения и работы с CAC, так как это не ключевая компетенция классического продакт-менеджера. Намного больший интерес представляет LTV — это как раз ключевая компетенция любого ответственного за продукт.

LTV — это ключевая метрика, отражающая ценность (пользу) вашего продукта для ваших пользователей и клиентов. Именно эта метрика должна стоять во главе угла при работе над продуктом.

LTV — замечательная метрика, но у нее есть один минус. Она высокоуровневая. Чтобы понимать, как на нее воздействовать, вам необходимо ее декомпозировать на более простые и приземленные на продукт метрики.

Декомпозиция LTV на метрики продукта

Обычно метрики привязываются к ключевым точкам жизненного цикла пользователя в приложении. Тем самым мы создаем возможность отслеживать успешность продвижения пользователей в приложении и находить узкие места, требующие нашего внимания.

Я обычно отслеживаю путь пользователя в продукте с точки зрения его вовлеченности и монетизации.

Вовлеченность описывается следующими этапами в жизненном цикле пользователя:

1. Активация в приложении;
2. Залипание в приложении (или активность использования);
3. Долгосрочный Retention (сколько пользователей продолжают использовать продукт спустя месяц, два месяца и так далее после регистрации).

Монетизация же описывается следующей последовательностью этапов жизненного цикла пользователя:

1. Активация в приложении;
2. Увидел продающий экран;
3. Совершил первую покупку;
4. Совершил вторую покупку;
5. …

Ниже я привел метрики, соответствующие каждому из этапов жизненного цикла пользователя в продукте (метрики могут отличаться для разных продуктов):

• Активация в приложении (% тех, кто прошел туториал или совершил ключевое целевое действие в приложении, например, зарегистрировался и добавил первых друзей);
• Залипание в приложении (% пользователей, который дошли до N уровня или, например, добавили N друзей: число N определяется экспериментальным путем);
• Пользователь увидел предложение о покупке (% пользователей, которые увидели предложение о покупке);
• Пользователь совершил первую покупку (% покупающих что-либо в приложении, средняя сумма первой покупки);
• Пользователь совершил повторную покупку (% совершивших повторную покупку, средняя сумма повторной покупки, среднее количество повторных покупок);
• Retention (% пользователей, которые используют приложение спустя месяц/два/три/четыре после регистрации).

Все эти метрики влияют в конечном итоге на LTV. В каждом из продуктов могут быть свои особенности, но для большинства подобные базовые этапы или метрики подойдут.

Метрики продукта: как они влияют на LTV

Давайте подробнее рассмотрим описанные выше метрики продукта и то, как они влияют на LTV, на примере абстрактной игры.

Активация в приложении

В любой игре пользователя сначала обучают, проводя его через туториал. Те, кто не прошли туториал, скорее всего, не будут дальше играть и тем более платить. Именно поэтому для нас критично отслеживать долю пользователей, успешно прошедших этот этап.

Также полезно отслеживать долю тех, кто смог выполнить ряд целевых действий по окончании туториала (то есть обучился и теперь может самостоятельно играть). Такая метрика будет отражать то, насколько качественно спроектирован процесс обучения.

Пользователь «залип» в приложении

Пользователь, скорее всего, не будет платить, если он не увлекся игрой. Именно поэтому нам надо отслеживать долю тех, кто залип в приложении. С этой целью мы измеряем долю тех, кто прошел до N уровня, или тех, кто заходил в приложение более 5 раз в течение недели с момента установки.

Обычно метрику для факта залипания определяют опытным путем. В этой статье есть примеры подобных метрик для ряда популярных сервисов.

Пользователь увидел предложение о покупке, сделал первую покупку

Одной из наших целей является получение дохода, поэтому нам надо стимулировать первую покупку в приложении. Но покупка совершается с определенного экрана нашего приложения (например, с экрана магазина), поэтому необходимо отслеживать долю пользователей, которые увидели этот экран.

Если экран о продаже видят 10% приходящих пользователей, то это автоматически ограничивает сверху долю пользователей, которые могут сделать первую покупку в нашей игре.

Повторные покупки

Первая покупка — это хорошо, но финансово успешные продукты обычно отличаются высокой долей повторных покупок. Часто первая покупка — это определенный кредит доверия пользователя приложению: если он удовлетворен результатом и полученной пользой, то, скорее всего, он совершит и повторную покупку. Поэтому еще одной важной метрикой становится доля пользователей, совершающих повторные покупки, а также среднее количество повторных покупок.

Retention

Для того чтобы пользователи имели шанс совершить несколько покупок, они должны продолжать играть в нашу игру в течение длительного времени, а не бросать ее спустя день. Для отслеживания этого явления мы будем измерять Retention.

Построение продуктовой аналитики и пример использования когортного анализа

Самым простым в реализации вариантом построения аналитики продукта будет создание воронок на каждое из описанных выше событий. В большинстве случаев у вас получатся воронка монетизации и воронка вовлеченности пользователей.

Далее необходимо будет сравнивать показатели вашего продукта для когорт пользователей, сформированных на основе недели, когда они пришли в приложение. Для такой аналитики подходят такие инструменты, как Amplitude, Mixpanel и Localytics.

Я здесь рассмотрю более сложный, но и более продуктивный подход — использование когортного анализа для продуктовой аналитики. Использование когортного анализа углубит ваше понимание продукта и того, как ваши пользователи используют его во времени.

Будем формировать когорты пользователей на основе недели, когда они пришли в приложение. Для простоты в примере рассмотрены только следующие метрики: CAC, LTV, Retention, % совершивших первую покупку, % совершивших повторную покупку. Также для простоты когорты не сегментировались ни по каким дополнительным признакам.

Приступим.

Ниже приведена таблица когортного анализа рассматриваемого продукта (можете считать, что это игра или туристическое приложение). Ознакомьтесь с таблицей.

В первую неделю в первую версию нашего приложения пришло 3000 пользователей. На конец Week 0 25% из них прошли туториал, но еще никто не заплатил. К концу Week 1 еще 5% прошли туториал  (то есть всего уже 30%), при этом 1,2% совершили первую покупку. К концу Week 2 туториал прошли 34% из рассматриваемой когорты, а первую покупку совершили 1,4%.

Спустя неделю мы выпустили новую версию приложения, где изменили туториал. Как мы видим из таблицы когортного анализа — это сработало! К концу Week 2 уже 47% прошли туториал (ранее лишь 34%). Расширение воронки монетизации на уровне туториала увеличило и долю тех, кто совершил покупку. К сожалению, наши пользователи не совершают повторные покупки, что не позволяет выйти на операционную безубыточность продукта, даже несмотря на то, что команда продвижения смогла существенно снизить CAC (пусть и сократив приток новых пользователей). Тратим на привлечение мы $0,8, а зарабатываем лишь $0,5 со среднего пользователя спустя 8 недель.

В третьей версии приложения мы доработали туториал и добавили новые покупки в приложение, увеличив разнообразие. Это позволило нам увеличить долю повторных покупок и сравнять LTV с CAC.

Примерно так когортный анализ позволяет нам понимать свой продукт, а также то, какие улучшения работают, а какие нет.

Основные идеи статьи

• Метрики роста не подходят для построения аналитики продукта, так как на них влияет не только продукт, но и маркетинг, и продвижение;
• Две ключевые метрики продукта — LTV и CAC;
• LTV — высокоуровневая метрика, поэтому ее следует декомпозировать на метрики продукта, привязанные к ключевым этапам жизненного цикла пользователя в приложении;
• Суть когортного анализа состоит в том, чтобы отслеживать ключевые метрики каждой отдельной когорты во времени;
• Когортный анализ позволяет объективно сравнивать разные версии продукта и оценивать влияние изменений на продукт.