Метрики — обязательный аспект любого обсуждения продуктов и их сравнения между собой.

Однако зачастую люди подразумевают совершенно разные вещи, говоря о, казалось бы, одной и той же метрике. В рабочей ситуации это может приводить к непониманию между командой и стейкхолдерами и к неверной интерпретации результатов продуктовой работы. Поэтому важно убедиться, что при обсуждении метрик вы и ваши собеседники имеете в виду одно и то же.

В этом материале мы на реальном примере разберем, как неверная интерпретация метрик выливается в недостоверные оценки продуктов и как правильно подходить к формулировке метрик.

Как надо и не надо считать «конверсию в платящих пользователей» — на примере Spotify

Важность точного определения метрики удобно проиллюстрировать на реальном примере.

Несколько лет назад отраслевые порталы решили посчитать, насколько хорошо Spotify конвертирует своих пользователей в платных подписчиков. Это история отлично иллюстрирует идею о том, что нельзя сравнивать показатели без знания о том, как их правильно рассчитывать.

Так, у одного автора получилось, что конверсия подписчиков Spotify из бесплатных в платных превосходит аналогичный показатель Dropbox на 667%. В другой статье утверждалось, что конверсия Spotify выше 40%, тогда как «для большинства компаний с аналогичной бизнес-моделью нормой конверсии подписчиков из бесплатных в платных считается показатель от 2 до 5%».

Чтобы посчитать конверсию Spotify в платных подписчиков, авторы подобных статей руководствовались следующей логикой:

  1. У Spotify было 113 миллионов подписчиков в Q3 2019.
Number of Spotify premium subscribers worldwide from 1st quarter 2015 to 3rd quarter of 2019 (in millions)
  1. В том же периоде у Spotify было 248 миллионов активных пользователей.
Number of Spotify monthly active users worldwide from 1st quarter 2015 to 3rd quarter 2019 (in millions)
  1. Так, у них получилось, что конверсия Spotify в платных подписчиков равна: 113 / 248 = 45.5%.

Однако это ошибочный способ расчета доли пользователей, которых Spotify конвертировал в платную подписку. Формула выше демонстрирует долю платящих пользователей от общего числа активных пользователей — а это совершенно другая метрика.

Как посчитать реальную конверсию новых подписчиков продукта в платящих — на примере Spotify

Пример Spotify отлично подходит для этого рассказа потому, что у нас есть достаточно данных о продукте.

Обратимся к данным приложения за тот же 2019 год. Мы увидим устойчивый рост MAU Spotify в масштабах десятков миллионов пользователей, который указывает на то, что продукт успешно конвертирует новых пользователей в постоянных и его Retention выходит на плато.

Развивайтесь в профессии продакт-менеджера с помощью GoPractice.

→ «Профессия: продакт-менеджер».

→ «Симулятор управления продуктом на основе данных».

→ «Симулятор управления ростом продукта».

→ «Симулятор SQL для продуктовой аналитики»

→ «Симулятор управления ML/AI-проектами».

«Генеративный AI для продакт-менеджеров: мини-симулятор».

→ Не знаете с чего начать? Пройдите бесплатный тест для оценки навыков управления продуктом и подпишитесь на телеграм-канал GoPractice.

Так мы можем достаточно точно оценить долгосрочный месячный Retention Spotify того периода.

У нас есть такие вводные: 

  • За год, с Q3 2018 по Q3 2019, MAU Spotify вырос на 57 миллионов пользователей (191 миллион против 248 миллионов).
  • По данным AppMagic, за этот же период Spotify скачали 195 миллионов раз из Google Play и App Store.
  • Чтобы получить верхнюю границу оценки долгосрочного месячного Retention, необходимо сопоставить рост MAU Spotify и количество новых пользователей приложения за тот же период (допускаем, что старые пользователи редко уходят из продукта).
  • Таким образом, верхняя граница долгосрочного месячного Retention Spotify составит 57 / 195 = 29%.
  • Важно отметить: мы не учли тот факт, что определенная доля установок пришлась на старых пользователей приложения, которые купили новый смартфон. Кроме того, нельзя забывать, что у Spotify есть десктопная и веб-версии продукта, в которых люди также регистрируются. И конечно, конверсия может сильно отличаться в зависимости от региона, платформы и других факторов. Ради упрощения расчетов мы не будем заострять внимание на этом.

Сопоставим результаты с цифрами из статей, о которых мы говорили в начале. Как у продукта с долгосрочным месячным Retention в районе 30% может быть конверсия новых бесплатных подписчиков в платных в размере 45%? Короткий ответ: никак.

Давайте разбираться. Пусть долгосрочный месячный Retention Spotify выходит на плато на отметке в 29%. В то же время около 45% активных пользователей приложения — платные подписчики. Получается, что примерно 13% от новых пользователей продолжают платить за сервис в долгосрочной перспективе.

Стоит понимать, что посчитанные выше 13% — это не конверсия в покупку среди новых пользователей, а доля пользователей, которые продолжают платить в долгосрочной перспективе. Конверсия из новых в платящих, с высокой вероятностью, будет еще выше, поскольку люди могут приобретать подписку и отменять ее.

Теперь давайте оценим отток (churn) платных подписчиков Spotify. Эти цифры были в заявке S-1:

Spotify’s Premium Churn (monthly)

Важная цитата из документа: «Основываясь на исторических данных с начала 2015 года и по сей день, примерно 40% подписчиков Premium, которые отменили подписку, возвращаются в течение трех месяцев. 45% отменивших подписку возвращаются в течение полугода и 50% — в течение 12 месяцев». 

Учитывая нисходящий тренд оттока пользователей с графика выше, можно предположить, что в 2019 году месячный отток Spotify составлял 3–4%. Мы также знаем, что 50% отписавшихся пользователей возвращаются в течение 6–12 месяцев. Значит, реальный отток составляет около 1.5–2%. Если мы предположим, что кривая Retention платящих подписчиков выходит на плато после шести (оптимистичный сценарий) или 12 (пессимистичный сценарий) месяцев, то реальная конверсия новых пользователей Spotify в платных подписчиков составляет от 14.2% до 16.4%.

Почему нельзя делить число платных подписчиков на месячную аудиторию?

Проблема логики расчетов из статей выше в том, что авторы делят число платящих пользователей на общее число активных пользователей и выдают это за конверсию продукта в платных подписчиков. Как вы поняли, это совершенно другая метрика с совершенно иным смыслом.

Если бы авторы хотели оценить, как Spotify конвертирует новых пользователей в платящих, им стоило разделить количество сделавших покупку пользователей (а не тех, кто продолжает платить) на общее число новых пользователей (а не всех активных).

Простой, но важный пример. Допустим, продукт X конвертирует 1% своих новых пользователей в платящих, и его долгосрочный Retention составляет 1%. Только те, кто сделал покупку, продолжают использовать продукт. Если мы обратимся к логике авторов материалов выше, то конверсия новых пользователей продукта X в платных подписчиков составит 100%. Но мы-то знаем, что она составляет 1%. У продукта очень плохой Retention.

Поэтому сравнивать конверсию в покупку разных продуктов так, как это делают авторы подобных статей, — не очень хорошая идея. Отношение числа платящих пользователей к числу всех активных пользователей подвержено влиянию ряда факторов. В их числе долгосрочный Retention и возможности монетизации продукта. Поэтому будьте аккуратны в выводах на основе такой метрики. 

Еще один пример ошибочного расчета конверсии

Теперь взгляните на следующий анализ бизнес-модели Slack. Авторы утверждают, что Slack конвертирует 30% новых пользователей в платящих.

«Как Slack конвертирует 30% своих бесплатных пользователей в платящих? Давайте рассмотрим финальный элемент пазла. Конечно, Slack может использовать все вышеперечисленные советы… Но где гарантия, что они станут платить?»

Какие две ключевые ошибки вы здесь видите?

  • Во-первых, неверно оценивать конверсию из регистраций в платящих пользователей путем деления платных подписчиков на активную аудиторию. Об этом мы говорили выше.
  • Во-вторых, конкретно в этом случае метрика «конверсия в платных конечных пользователей» не имеет особого смысла. Slack — это SaaS-продукт, и конечные пользователи за него не платят. Обычно лицензии покупают компании, и в этом случае стоит считать долю новых организаций, которые стали платящими.

В анализе заявки S-1 Slack мы оценивали, что конверсия из новой организации в долгосрочного платящего клиента у Slack находится в промежутке от 0.8 до 1.6%. Учитывая средний отток для SaaS-бизнесов (примерно 50% новых клиентов уходят через год), конверсия новой организации в клиента Slack, который заплатит хотя бы один раз, составляет 1.5–3.5%.

Почему важно объяснять, какие данные лежат в основе метрики

Слишком часто люди могут использовать одно и то же название метрики, но подразумевать совершенно разные вещи.

Так, конверсия в платящего пользователя может означать:

  • Долю новых пользователей, которые сделали хотя бы одну покупку за все время использования продукта.
  • Долю новых пользователей, которые становятся платящими и остаются ими на протяжении долгого времени.
  • Долю дневной активной аудитории, которая делает покупки.
  • Долю месячной активной аудитории, которая делает покупки.

И так далее.

Каждая из этих метрик будет означать совершенно разные вещи. Нельзя сказать, что какая-то из них лучше или хуже: они просто говорят о разном и отвечают на разные вопросы.

Заключение

В обсуждении метрик и данных всегда важно убедиться, что вы и ваши собеседники имеете в виду одно и то же. В противном случае вы окажетесь в ситуации, когда каждый интерпретирует метрику по-своему. И тогда любое обсуждение и сравнение продуктов потеряет всякий смысл.

Автор иллюстрации к материалу — Анна Гольде