Метрика — это способ измерить что угодно и представить это в числовом выражении. Метрики в продукте или бизнесе — ключевой ориентир для оценки деятельности компании и ее результатов.
Понятие «метрики» неизбежно тянет за собой массу вопросов и оговорок: зачем они нужны, как их выбирать, как считать, отслеживать и интерпретировать.
Этот материал нацелен прежде всего на тех, кто прежде не работал с метриками в продукте и бизнесе или только начал. В нем мы подробно разберем различные вопросы и понятия, важные для правильной работы с метриками.
Оглавление
- Метрики: определение
- Зачем нужны продуктовые метрики
- Как работать с метриками
- На какие вопросы отвечают метрики
- Какими бывают метрики: метрики продукта, роста, добавочной ценности и эффективности решения задачи
- Типовые инструменты и методы работы с метриками
- Узнайте больше (что еще можно прочитать и изучить)
Метрики: определение
Метрика — это измеряемый показатель, который используется для отслеживания определенного параметра в динамике и оценки результата на выбранный момент. Метрики существуют повсеместно: и в реальном, и в цифровом мире. Температура воздуха, уровень сахара в крови, ВВП на душу населения, годовая прибыль компании, количество посетителей сайта за сутки — все это по своей сути метрики.
Метрики не существуют сами по себе: их создают люди для измерения тех или иных явлений вокруг. Поэтому у полезной, хорошей метрики всегда есть ясный и прикладной смысл. Напротив, если смысл метрики никому не понятен — она бесполезна. Раньше для измерения расстояния использовалась верста. Потребность измерять расстояние не исчезла, но на смену версте пришли километры, а сама она вышла из употребления и стала бесполезна.
Любой рациональный бизнес опирается на метрики. Для IT- и диджитал-компаний в частности это будут:
🔸 Продуктовые метрики (например, возвращаемость пользователей в продукт, то есть Retention)
🔸 Бизнес-метрики (например, объем продаж или количество заявок от клиентов)
🔸 Маркетинговые метрики (например, отношение кликов к показам рекламной кампании, то есть Clickthrough rate, CTR)
🔸 Производственные и технологические метрики (например, скорость загрузки страницы на вебе)
🔸 И так далее.
В этом материале мы сосредоточимся на обсуждении продуктовых метрик, то есть метрик, которые наиболее часто встречаются в продуктовой работе и имеют в ней практический смысл. Они включают в себя часть метрик из смежных сфер — бизнеса, маркетинга, технологических процессов — так как продукт не находится в вакууме, а тесно связан со всеми остальными процессами и частями бизнеса.
Зачем нужны продуктовые метрики
Продуктовые метрики являются своего рода окном в текущее состояние продукта. И уже на основе этой информации продуктовые команды могут принимать решения об изменениях в продукте, их важности, приоритетности.
Если суммировать, то метрики в работе над продуктом нужны, чтобы:
1️⃣ Понимать, что происходит с продуктом, выстроенным вокруг него бизнесом, с его клиентами
2️⃣ Принимать информированные обоснованные решения об изменениях в продукте
3️⃣ Оценивать результаты изменений в продукте: сделали ли они продукт лучше или хуже для пользователей
4️⃣ Измерять то, что тесно связано с продуктом и влияет на него, например таргетированная реклама, партнерские публикации, реферальные программы и пр.
5️⃣ Фиксировать аномалии и реагировать на них
6️⃣ В лаконичной форме презентовать результаты продукта
Как работать с метриками
Ключевая цель продакт-менеджера заключается в том, чтобы создавать ценность в продукте для пользователей и тем самым трансформировать эту ценность в прибыль для бизнеса. И метрики в данном случае — важнейший инструмент для принятия data-driven решений, через которые в значительной степени цель реализуется.
Любой продукт — это сложная система взаимосвязанных вещей, и профессиональная работа с продуктовыми метриками подразумевает не только погоню за цифрами, но и понимание
— стоящих за ними процессов;
— задач, за решением которых приходят пользователи;
— на каком этапе развития находится продукт;
— бенчмарков в индустрии;
— и множество других аспектов.
Универсального рецепта работы с метриками нет, но прокачка знаний и навыков позволяет с уверенностью находить ключи к тому, чтобы прямо или на основе устойчивой корреляции измерить практически все процессы в рамках продукта или бизнеса.
💡 Для того, чтобы научиться работать с метриками и принимать data-driven решения, вам подойдет обучение в «Симуляторе управления продуктом на основе данных» или более объемной программе для перехода в продуктовую роль — «Профессия: продакт-менеджер».
На какие вопросы отвечают метрики
Вот несколько примеров типовых высокоуровневых метрик и вопросы, на которые они отвечают.
Revenue (выручка) — отвечает на вопрос, сколько денег наш продукт получил за определенный период до вычета расходов.
DAU/WAU/MAU (Daily/Weekly/Monthly Active Users) — отвечают на вопрос, сколько активных пользователей в нашем продукте ежедневно, еженедельно или ежемесячно.
Retention — отвечает на вопрос, как продукт возвращает пользователей. Для большинства типов продуктов это один из ключевых показателей. Retention показывает, сколько людей вернулись в день Х (неделю Х, месяц Х) после первого входа в продукт, и измеряется в процентах. Также Retention может считаться и в использование конкретной функциональности в продукте. Подробнее в гайде по Retention.
ARPU (Average Revenue per User) — отвечает на вопрос, сколько денег приносит средний пользователь за определенный период. Считается через деление общей выручки на число пользователей.
LTV (Lifetime Value) — отвечает на вопрос, сколько денег принесет продукту один пользователь в среднем за все время использования продукта. Важный индикатор для прогнозирования выручки и прибыли продукта.
Метрики выше — часто встречающиеся и общеупотребимые, но они могут не отвечать всем потребностям продуктовой команды. В таком случае команда может создавать метрики для измерения конкретного процесса, характерного для этого продукта, — главное, чтобы команда ясно отдавала себе отчет, что и зачем она считает.
Так, в материале о том, как Duolingo перезапустил свой рост, вы можете найти упоминания довольно необычных метрик, например iWAURR (inactive WAU reactivation rate). В контексте работы над Duolingo эта метрика подразумевала долю пользователей:
— которые не были активны сегодня;
— которые были активны в течение предыдущих шести дней;
— которых удалось вернуть сегодня в продукт.
Таким образом, метрики могут отвечать на самые разнообразные вопросы о продукте, если вы найдете правильный способ для их расчета и убедитесь, что сам по себе этот расчет имеет практический смысл.
Какими бывают метрики: метрики продукта, роста, добавочной ценности и эффективности решения задачи
В образовательных продуктах GoPractice мы делим метрики на:
— метрики продукта;
— метрики роста;
— метрики добавочной ценности;
— метрики эффективности решения задачи.
Такая типология не является формальной, но популярна в продуктовом сообществе, так как позволяет легче разобраться в природе метрик и усвоить принципы работы с ними.
Метрики продукта показывают, как продукт превращает новых пользователей в другие материи — активных пользователей, платящих пользователей, прибыль, заказы, обращения в поддержку. К таким метрикам относятся упомянутые выше Retention, LTV, а также конверсии пользователей, например в покупку.
Метрики роста отражают эффективность бизнеса, построенного вокруг продукта. Это может быть количество активных пользователей (DAU/MAU), прибыль, количество заказов, число просмотренных видео на платформе и так далее.
💡 Метрики роста являются прямым результатом умножения метрики продукта на число новых пользователей.
| Метрика продукта | Новые пользователи * метрику продукта = | Метрика роста |
| Daily Retention (дневной Retention) | Новые пользователи * Daily Retention = | DAU |
| LTV | Новые пользователи * LTV = | Gross Profit |
| Retention into Sending a Message (то есть Retention в отправку сообщения) | Новые пользователи * Retention into Sending a Message = | Количество пользователей, отправивших сообщение |
| % новых пользователей, которые подписались | Новые пользователи * % новых пользователей, которые подписались = | Количество новых подписчиков |
Важно понимать разницу между двумя этими типами метрик.
Поскольку метрики роста получаются путем умножения метрики продукта на число новых пользователей, такие метрики очень легко «раздуть».
Допустим, мы работаем над мобильной игрой со слабым для своей категории месячным Retention: 3%. То есть лишь 3 игрока из привлеченных 100 будут играть в нее в следующем месяце. Если мы закупим рекламу и привлечем большое количество новых пользователей, то увидим всплеск на графике MAU. Однако поскольку наш продукт плохо удерживает пользователей, то это может оказаться экономически нецелесообразно: оставшиеся игроки не принесут продукту столько денег, сколько было потрачено на привлечение всех пользователей. Подробнее о нюансах работы с Retention — в этом материале.
Это, впрочем, вовсе не говорит о том, что метрики роста бесполезны и всегда манипулятивны — пример выше лишь подчеркивает то, что важно понимать все составляющие метрики и не смотреть на нее в отрыве от других факторов и показателей.
Поэтому если мы хотим измерить успешность изменений в продукте, то следует обращать внимание на метрики продукта. Если благодаря им удалось увеличить Retention, то в перспективе это будет означать возможность удержать в продукте больше пользователей, чем ранее. А значит, это позволит повысить эффективность бизнеса, что, в свою очередь, будет отражаться в метриках роста.
Мы также выделяем еще две категории метрик, которые помогают вести работу над продуктом на уровне его ценности для пользователя.
Метрики эффективности решения задачи пользователя — это мера того, сколько усилий и ресурсов требуется для решения задачи пользователя, либо достижения определенного прогресса в рамках ее решения.
Метрики добавочной ценности — это мера того, насколько эффективнее один продукт решает задачу, чем другой (то есть разница метрик эффективности двух продуктов).
Простой пример. Допустим, есть два финансовых продукта, которые созданы для получения пассивного дохода от вложенных в них денег. Между ними нет никаких различий, кроме годовой процентной ставки:
- Первый продукт приносит 5% годовых;
- Второй продукт приносит 7% годовых.
В таком случае процентная ставка является метрикой эффективности каждого из продуктов. А разница между процентными ставками — это метрика добавочной ценности второго продукта относительно первого.
Если вы хотите узнать больше о метрик эффективности и добавочной ценности, рекомендуем прочесть этот материал.
Типовые инструменты и методы работы с метриками
Что такое дашборд
Дашборд — это набор различных метрик на одном экране. Простой пример — приборная панель автомобиля, на которой видны скорость, запас топлива, пройденный километраж, температура в салоне и так далее.
Основная роль дашборда — минимизировать усилия для того, чтобы получить набор метрик по заданной теме, то есть иметь возможность быстро оценить текущее состояние продукта и сравнить его с недавними показателями. Поэтому разные команды в компании как правило настраивают свои дашборды для удобства работы и мониторинга в динамике. В рамках ваших задач в новой для вас компании или продукте наверняка уже созданы подобные дашборды, которые вы можете изучить.
Дашборды являются неотъемлемой частью любой системы аналитики и могут настраиваться в зависимости от потребностей его пользователя (например, продакт-менеджера). О самих системах аналитики мы поговорим чуть подробнее ниже.
А в этом материале — рекомендации от опытного маркетолога о том, как строить маркетинговые дашборды.
Дерево метрик или иерархия метрик
Любой продукт характеризуется целым набором различных метрик. И все они непосредственно или косвенно влияют друг на друга.
Отсюда рождается понятие дерева метрик. Хотя мы не используем это понятие в симуляторах и материалах GoPractice, оно часто встречается в продуктовом сообществе, поэтому следует дать небольшое пояснение.
Дерево метрик — это визуализация того, как разные метрики в продукте влияют друг на друга: от верхнеуровневых к низкоуровневым.
Так, понятие «выручка» для любого бизнеса складывается из набора различных факторов. Например, для продукта из e-commerce это будет количество заказов, стоимость продукции, средний чек, среднее число покупок на пользователя в месяц, процент возвратов и так далее. Такая декомпозиция метрики «выручка» по сути и позволяет сформировать дерево метрик.
Выше — пример дерева метрик для мобильного приложения, . Он визуализирует для разработчиков то, из каких элементов обычно складывается дневная выручка их приложения.
Основная ценность формирования дерева или иерархии метрик в том, что так становятся видны рычаги влияния на интересующую вас верхнеуровневую метрику. Метрики перестают отслеживаться разными кусками команды в отрыве друг от друга, и все они формируют цели в рамках общего «дерева» и понимание, как одно влияет на другое. Когда становится понятно, что, например, увеличение среднего числа покупок поможет нарастить выручку, рождаются гипотезы того, как этого можно реализовать. Дерево также помогает синхронизироваться разным командам или даже отделам, которые могут работать над одним большим продуктом.
Именно поэтому многие консультанты по развитию продукта и бизнеса часто опираются на концепцию дерева метрик в своих программах. Это наглядный способ декомпозиции всего устройства продукта, который может помочь найти и обозначить проблемные зоны (однако ничего не сообщает о том, как обнаруженные проблемы решать).
North star metric, proxy-метрики, опережающие метрики и vanity-метрики
Вы можете встретить и другие профессиональные buzzwords, связанные с метриками. Здесь разберем наиболее часто встречающихся из них.
North Star Metric (NSM) — это ключевая метрика успеха продукта, на рост которой направлены усилия всех команд. NSM является производной от других метрик, которые отражают эффективность продукта в разных его частях, и является своего рода вершиной дерева метрик.
NSM преследует две цели:
— Во-первых, она объединяет усилия продуктовой команды вокруг единой цели, которая отражает ценность продукта. Согласованность действий — обязательное условие для сфокусированной и последовательной работы над продуктом.
— Во-вторых, NSM помогает оценивать и приоритизировать новые проекты. Она служит бенчмарком при определении того, как эти проекты отразятся на росте продукта.
Подробнее про NSM, а также о критериях ее выбора для продукта мы рассказывали здесь.
Proxy-метрики (прокси-метрика) — это метрика, которая лишь косвенно указывает на некий показатель, который нельзя измерить напрямую.
Допустим, мы не можем с точностью измерить удовлетворенность пользователей продуктом (или не можем на сто процентов доверять результатам соответствующего опроса). Но мы можем выбрать прокси-метрику, которая будет косвенно коррелировать с ростом или снижением удовлетворенности пользователей: например, сколько времени они проводят в продукте или как часто они приглашают друзей.
Опережающие метрики — это показатели, которые предсказывают другие значимые результаты на основе корреляции между ними. Они помогают спрогнозировать будущие изменения в метриках до того, как они произошли. Например, трафик на сайт является опережающей метрикой для количества новых регистраций, а уровень удовлетворенности клиентов (NPS) предсказывает отток или рост числа клиентов.
Vanity-метрики (от английского vanity — тщеславие) — это такие метрики, которые не несут в себе практического смысла для продуктовой работы, но могут выглядеть впечатляюще. Например, это могут быть просмотры страниц, количество скачиваний приложения и даже число пользователей продукта. С такими vanity-метриками нужно быть особенно аккуратными: они запросто могут не отражать реальность и повести продуктовую команду по ложному следу. А недобросовестные менеджеры могут использовать такие метрики, чтобы продемонстрировать свою эффективность, тогда как реальной ценности для продукта не создается. Рассмотрим пример из нашего «Симулятора управления продуктом на основе данных».
В компании Y разработали новый продукт. После «софт лонча» он показал неплохие результаты:
- Стоимость привлечения пользователя составила $1;
- Средний доход с одного нового пользователя составил $2 в течение следующих четырех месяцев после его привлечения;
- 30% новых пользователей продолжали пользоваться продуктом спустя месяц (далее доля постепенно снижалась до 15%).
Было принято решение запускать продукт на мир. Наняли команду по маркетингу, которая хорошо справилась с работой. Они, сохраняя стоимость привлечения пользователя на уровне $1, привлекли 10 тысяч новых пользователей в первый месяц после запуска, 15 тысяч — во второй, 20 тысяч — в третий и так далее.
Также был нанят опытный продакт-менеджер, который теперь отвечал за развитие сервиса. К сожалению, он оказался плохим продакт-менеджером. Он выпускал новую версию продукта каждый месяц, но изменения, которые он вносил, были неудачными. Поэтому после каждого изменения доход с нового пользователя падал на $0.1, а доля пользователей, продолжающих использовать продукт, в долгосрочной перспективе снижалась на 2 процентных пункта.
Исторически сложилось, что в компании было принято следить за месячной аудиторией (MAU, или Monthly Active Users) и доходом (Revenue) каждого из продуктов. На основе этих метрик выставлялись цели и оценивались успехи команды, работающей над продуктом.
Поэтому в конце года, по прошествии девяти месяцев после глобального запуска, руководство было очень довольно результатами. Помните, что наш продакт-менеджер каждый месяц портил продукт! Но при этом метрики роста стабильно шли вверх.
Ниже приведены те же графики, но с данными за 16 месяцев после запуска продукта. Тут уже заметны последствия неудачных изменений. Но первые сигналы появились лишь спустя 10 месяцев! При этом аудитория все еще продолжала стремительно расти.
Помните: нет универсальных North Star, прокси- или vanity-метрик: в зависимости от продукта и от задачи, которую хочет решить с ее помощью команда, такими метриками могут выступать любые.
Фреймворки для работы с метриками
Чтобы систематизировать работу с продуктовыми метриками, существуют различные фреймворки. Их задача — перевести этапы взаимодействия пользователей с продуктом в измеримые метрики. Разобрать все в одном материале нет возможности, но для понимания — давайте обсудим два популярных: AAARRR («пиратские метрики») и HEART.
AAARRR
Этот «пиратский» фреймворк — аббревиатура от названий основных этапов взаимодействия с продуктом.
Awareness — как люди узнают о вашем продукте и как меняется узнаваемость бренда. Может измеряться через поисковые запросы, упоминаемость в СМИ соцсетях.
Acquisition — как люди приходят в продукт. Может измеряться через посещаемость продукта, источники трафика, стоимость привлечения (Cost per acquisition, CPA).
Activation — как люди осознают ценность продукта. Может измеряться через завершение онбординга (доля завершивших процесс пользователей), совершение ключевого действия, приобретение подписки и пр.
Retention — как пользователи возвращаются в продукт. Может измеряться через одноименную метрику: Retention в открытие продукта, Retention в определенное действие, Retention в покупку.
Revenue — как монетизируется продукт и сколько он зарабатывает. Может измеряться через общие доходы за определенный период, среднюю выручку на пользователя (ARPU), через LTV.
Referral — как пользователи приглашают в продукт других людей. Может измеряться через долю пользователей, поделившихся ссылкой на продукт, через долю пользователей, активированных в продукте после перехода по реферальной ссылке и пр.
Важно определить, какие метрики вашего продукта вы будете отслеживать в рамках этого фреймворка, установить KPI или OKR по этим метрикам и затем составить гипотезы, которые могут улучшать выбранные метрики.
HEART
Еще один фреймворк, которые позволяет перейти от ключевых для вашего продукта действий пользователей к конкретным измеримым метрикам. Аббревиатура расшифровывается следующим образом:
Happiness — удовлетворенность.
Engagement — вовлечение.
Adoption — использование.
Retention — возвращаемость.
Task success — успешность выполнения задачи.
Фреймворк требует определения трех ключевых аспектов применительно к каждой составляющей: целей (Goals), сигналов о достижении цели (Signals) и метрик, измеряющих достижение цели (Metrics). Вот как это будет выглядеть в форме таблицы:
| Goals | Signals | Metrics | |
| Happiness | |||
| Engagement | |||
| Adoption | |||
| Retention | |||
| Task success |
Например, для продукта мы хотим измерять Happiness. В качестве сигналов удовлетворенности пользователя продуктом могут выступать позитивные отзывы, лояльность бренду. А в качестве конкретных метрик — Net Promoter Score (NPS, ответ на вопрос «Насколько вероятно, что вы порекомендуете продукт?»), рейтинг в магазине приложений, количество тикетов с жалобами в поддержку и т.д.
А чтобы измерить Adoption, в качестве сигналов можно взять использование конкретной функциональности или совершение покупок внутри продукта. Метриками, соответственно, могут быть доли от общего числа пользователей, которые совершили это действие.
В чем разница?
Обычно фреймворк AAARRR используется для продуктов, которые в большей степени ориентированы на рост, маркетинг и оптимизацию доходов. Наиболее актуален для стартапов на этапе роста.
Фреймворк HEART подходит для продуктов, ориентированных на оптимизацию UX. Актуален для сформированных устойчивых продуктов.
- .
- .
Как узнать, отслеживать и исследовать метрики? Инструменты аналитики
Для каждой группы метрик, которые могут быть актуальны в продуктовой работе, существуют свои инструменты для их изучения. Вот несколько примеров:
— Для метрик, связанных с веб-сайтами, это может быть Google Analytics или «Яндекс Метрика»
— Для метрик приложений — Amplitude, Mixpanel или AppMetrica
— Для работы с маркетингом в рамках приложений — Adjust, AppsFlyer
— Для метрик SEO — «Яндекс Вебмастер», Google Search Analytics, SEMrush, Ahrefs
— Для метрик email-маркетинга — Unisender, SendPulse
— Для A/B-тестирования — Optimizely, VWO
Список выше — не исчерпывающий: существуют и другие типы метрик для отслеживания и соответствующие инструменты.
Если эти данные о взаимодействии с продуктом хранятся в собственной реляционной базе данных продукта, то доставать их можно с помощью запросов к ним — через SQL. Это гораздо более гибкий способ получения интересующих вас метрик, но он требует специальных навыков (получить их можно в нашем «Симуляторе SQL для продуктовой аналитики»). Такой способ выбирают в продуктах, где много платформ (веб, мобайл, IoT), в корпоративных продуктах в закрытой среде и в случае, когда нельзя передавать данные по требованиям безопасности. В таком случае для отображения результатов отчеты и дашборды строят в BI системах таких как PowerBI, Tableau, Metabase, Yandex DataLens и других.
С другой стороны, готовые инструменты из перечисленных выше чаще всего предоставляют удобные способы визуализации данных и кастомизируемые дашборды, благодаря которым вы видите все важные метрики на одном экране.
Если вы начинаете работу над устоявшимся продуктом, то у него, с высокой вероятностью, уже настроены все необходимые аналитические инструменты. В таком случае важно изучить особенности работы используемых инструментов (в том числе изучить документацию по ним) и обязательно пообщаться с коллегами из продуктовой команды, чтобы лучше в них разобраться.
При работе с популярными инструментами стоит также помнить, что за одинаковыми названиями метрик в разных инструментах могут скрываться несколько различающиеся вещи. Именно поэтому важно изучать документацию каждого инструмента.
Узнайте больше
В этом разделе мы собрали полезные ссылки, которые помогут вам углубиться в тему работы с метриками и работы над продуктом.
Про метрики
— «Метрики продукта, роста, эффективности и добавочной ценности» — подробный гайд по типам метрик и роли, которую они играют.
— . Автор развенчивает миф о том, что некоторые вещи в бизнесе не поддаются измерению, и с примерами объясняет, как это можно сделать, чтобы на основе полученных данных принимать более обоснованные решения.
— «Метрика Retention. Что означает, как ее рассчитать и как ее улучшить»
— «Метрика ARPU. Как ее считать, чем она отличается от LTV, почему может ввести в заблуждение»
— «Расчет LTV. Как надо и не надо считать Lifetime Value»
Про работу над продуктом
— Рекомендуем прочитать нашу серию материалов «Основы продакт-менеджмента». Начать можно с этого материала.
— Мы упоминали SQL в контексте работы с аналитическими инструментами. Здесь продакт-менеджеры рассказывают, почему важно и полезно освоить SQL. А здесь можно приступить к обучению.
Комплексное обучение по теме метрик
— Для того, чтобы научиться работать с метриками и принимать data-driven решения, вам подойдет обучение в «Симуляторе управления продуктом на основе данных» или более объемной программе для перехода в продуктовую роль — «Профессия: продакт-менеджер».
