Метрики — обязательный аспект любого обсуждения продуктов и их сравнения между собой.
Однако зачастую люди подразумевают совершенно разные вещи, говоря о, казалось бы, одной и той же метрике. В рабочей ситуации это может приводить к непониманию между командой и стейкхолдерами и к неверной интерпретации результатов продуктовой работы. Поэтому важно убедиться, что при обсуждении метрик вы и ваши собеседники имеете в виду одно и то же.
В этом материале мы на реальном примере разберем, как неверная интерпретация метрик выливается в недостоверные оценки продуктов и как правильно подходить к формулировке метрик.
Как надо и не надо считать «конверсию в платящих пользователей» — на примере Spotify
Важность точного определения метрики удобно проиллюстрировать на реальном примере.
Несколько лет назад отраслевые порталы решили посчитать, насколько хорошо Spotify конвертирует своих пользователей в платных подписчиков. Эта история отлично иллюстрирует идею о том, что нельзя сравнивать показатели без знания о том, как их правильно рассчитывать.
Так, у одного автора , что конверсия подписчиков Spotify из бесплатных в платных превосходит аналогичный показатель Dropbox на 667%. В другой утверждалось, что конверсия Spotify выше 40%, тогда как «для большинства компаний с аналогичной бизнес-моделью нормой конверсии подписчиков из бесплатных в платных считается показатель от 2 до 5%».
Чтобы посчитать конверсию Spotify в платных подписчиков, авторы подобных статей руководствовались следующей логикой:
- У Spotify 113 миллионов подписчиков в Q3 2019.
- В том же периоде у Spotify 248 миллионов активных пользователей.
- Так, у них получилось, что конверсия Spotify в платных подписчиков равна: 113 / 248 = 45.5%.
Однако это ошибочный способ расчета доли пользователей, которых Spotify конвертировал в платную подписку. Формула выше демонстрирует долю платящих пользователей от общего числа активных пользователей — а это совершенно другая метрика.
Как посчитать реальную конверсию новых подписчиков продукта в платящих — на примере Spotify
Пример Spotify отлично подходит для этого рассказа потому, что у нас есть достаточно данных о продукте.
Обратимся к данным приложения за тот же 2019 год. Мы увидим устойчивый рост MAU Spotify в масштабах десятков миллионов пользователей, который указывает на то, что продукт успешно конвертирует новых пользователей в постоянных и его Retention выходит на плато.
Так мы можем достаточно точно оценить долгосрочный месячный Retention Spotify того периода.
У нас есть такие вводные:
- За год, с Q3 2018 по Q3 2019, MAU Spotify вырос на 57 миллионов пользователей (191 миллион против 248 миллионов).
- По данным AppMagic, за этот же период Spotify скачали 195 миллионов раз из Google Play и App Store.
- Чтобы получить верхнюю границу оценки долгосрочного месячного Retention, необходимо сопоставить рост MAU Spotify и количество новых пользователей приложения за тот же период (допускаем, что старые пользователи редко уходят из продукта).
- Таким образом, верхняя граница долгосрочного месячного Retention Spotify составит 57 / 195 = 29%.
- Важно отметить: мы не учли тот факт, что определенная доля установок пришлась на старых пользователей приложения, которые купили новый смартфон. Кроме того, нельзя забывать, что у Spotify есть десктопная и веб-версии продукта, в которых люди также регистрируются. И конечно, конверсия может сильно отличаться в зависимости от региона, платформы и других факторов. Ради упрощения расчетов мы не будем заострять внимание на этом.
Сопоставим результаты с цифрами из статей, о которых мы говорили в начале. Как у продукта с долгосрочным месячным Retention в районе 30% может быть конверсия новых бесплатных подписчиков в платных в размере 45%? Короткий ответ: никак.
Давайте разбираться. Пусть долгосрочный месячный Retention Spotify выходит на плато на отметке в 29%. В то же время около 45% активных пользователей приложения — платные подписчики. Получается, что примерно 13% от новых пользователей продолжают платить за сервис в долгосрочной перспективе.
Стоит понимать, что посчитанные выше 13% — это не конверсия в покупку среди новых пользователей, а доля пользователей, которые продолжают платить в долгосрочной перспективе. Конверсия из новых в платящих, с высокой вероятностью, будет еще выше, поскольку люди могут приобретать подписку и отменять ее.
Теперь давайте оценим отток (churn) платных подписчиков Spotify. Эти цифры были в :
Важная цитата из документа: «Основываясь на исторических данных с начала 2015 года и по сей день, примерно 40% подписчиков Premium, которые отменили подписку, возвращаются в течение трех месяцев. 45% отменивших подписку возвращаются в течение полугода и 50% — в течение 12 месяцев».
Учитывая нисходящий тренд оттока пользователей с графика выше, можно предположить, что в 2019 году месячный отток Spotify составлял 3–4%. Мы также знаем, что 50% отписавшихся пользователей возвращаются в течение 6–12 месяцев. Значит, реальный отток составляет около 1.5–2%. Если мы предположим, что кривая Retention платящих подписчиков выходит на плато после шести (оптимистичный сценарий) или 12 (пессимистичный сценарий) месяцев, то реальная конверсия новых пользователей Spotify в платных подписчиков составляет от 14.2% до 16.4%.
Почему нельзя делить число платных подписчиков на месячную аудиторию?
Проблема логики расчетов из статей выше в том, что авторы делят число платящих пользователей на общее число активных пользователей и выдают это за конверсию продукта в платных подписчиков. Как вы поняли, это совершенно другая метрика с совершенно иным смыслом.
Если бы авторы хотели оценить, как Spotify конвертирует новых пользователей в платящих, им стоило разделить количество сделавших покупку пользователей (а не тех, кто продолжает платить) на общее число новых пользователей (а не всех активных).
Простой, но важный пример. Допустим, продукт X конвертирует 1% своих новых пользователей в платящих, и его долгосрочный Retention составляет 1%. Только те, кто сделал покупку, продолжают использовать продукт. Если мы обратимся к логике авторов материалов выше, то конверсия новых пользователей продукта X в платных подписчиков составит 100%. Но мы-то знаем, что она составляет 1%. У продукта очень плохой Retention.
Поэтому сравнивать конверсию в покупку разных продуктов так, как это делают авторы подобных статей, — не очень хорошая идея. Отношение числа платящих пользователей к числу всех активных пользователей подвержено влиянию ряда факторов. В их числе долгосрочный Retention и возможности монетизации продукта. Поэтому будьте аккуратны в выводах на основе такой метрики.
Еще один пример ошибочного расчета конверсии
Теперь взгляните на следующий бизнес-модели Slack. Авторы утверждают, что Slack конвертирует 30% новых пользователей в платящих.
«Как Slack конвертирует 30% своих бесплатных пользователей в платящих? Давайте рассмотрим финальный элемент пазла. Конечно, Slack может использовать все вышеперечисленные советы… Но где гарантия, что они станут платить?»
Какие две ключевые ошибки вы здесь видите?
- Во-первых, неверно оценивать конверсию из регистраций в платящих пользователей путем деления платных подписчиков на активную аудиторию. Об этом мы говорили выше.
- Во-вторых, конкретно в этом случае метрика «конверсия в платных конечных пользователей» не имеет особого смысла. Slack — это SaaS-продукт, и конечные пользователи за него не платят. Обычно лицензии покупают компании, и в этом случае стоит считать долю новых организаций, которые стали платящими.
В анализе заявки S-1 Slack мы оценивали, что конверсия из новой организации в долгосрочного платящего клиента у Slack находится в промежутке от 0.8 до 1.6%. Учитывая средний отток для SaaS-бизнесов (примерно 50% новых клиентов уходят через год), конверсия новой организации в клиента Slack, который заплатит хотя бы один раз, составляет 1.5–3.5%.
Почему важно объяснять, какие данные лежат в основе метрики
Слишком часто люди могут использовать одно и то же название метрики, но подразумевать совершенно разные вещи.
Так, конверсия в платящего пользователя может означать:
- Долю новых пользователей, которые сделали хотя бы одну покупку за все время использования продукта.
- Долю новых пользователей, которые становятся платящими и остаются ими на протяжении долгого времени.
- Долю дневной активной аудитории, которая делает покупки.
- Долю месячной активной аудитории, которая делает покупки.
И так далее.
Каждая из этих метрик будет означать совершенно разные вещи. Нельзя сказать, что какая-то из них лучше или хуже: они просто говорят о разном и отвечают на разные вопросы.
Заключение
В обсуждении метрик и данных всегда важно убедиться, что вы и ваши собеседники имеете в виду одно и то же. В противном случае вы окажетесь в ситуации, когда каждый интерпретирует метрику по-своему. И тогда любое обсуждение и сравнение продуктов потеряет всякий смысл.
Автор иллюстрации к материалу —
