Как измерять эффективность активации пользователей. Ошибки при определении метрик активации

Это материал из серии об активации — о том, как пользователи проходят путь от знакомства с продуктом до осознания его ценности.

В этом материале обсудим, как надо и как не надо измерять эффективность активации в продукте.

Работа над активацией пользователей имеет смысл только после достижения product/market fit. Если продукт не создает достаточно добавочной ценности, чтобы убедить пользователя сменить способ решения задачи, то даже идеальный процесс активации не поможет.

При этом после достижения product/market fit активация становится одним из основных рычагов воздействия на рост продукта. Улучшение активации имеет нелинейный эффект и часто обеспечивает максимальный ROI на вложенные инвестиции.

Чтобы глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в GoPractice.

→ Программа «Профессия: продакт-менеджер» поможет вам перейти в продакт-менеджмент из смежной роли или индустрии.

→ В «Симуляторе управления продуктом на основе данных» вы научитесь принимать решения с помощью данных и исследований при создании продукта.

→ В «Симуляторе управления ростом продукта» найдете пути управляемого роста и масштабирования продукта.

→ В «Симуляторе SQL для продуктовой аналитики» поймете, как применять SQL для решения продуктовых и маркетинговых задач.

→ В «Симуляторе управления ML/AI-проектами» научитесь применять технологии машинного обучения с пользой для бизнеса.

→ Не знаете с чего начать? Пройдите бесплатный тест для оценки навыков управления продуктом. Вы определите свои сильные стороны и слепые зоны, получите план профессионального развития.

→ Еще больше ценных материалов и инсайтов — в телеграм-канале GoPractice.

Распространенные ошибки при выборе метрик оценки активации пользователей

Прежде чем ответить на вопрос о том, как именно измерять эффективность активации пользователей, давайте обсудим распространенные ошибки при решении этой задачи.

Оценка активации на основе доли пользователей, прошедших онбординг

Многие команды оценивают эффективность активации на основе доли пользователей, успешно прошедших онбординг.

Анализ причин отвалов пользователей на ключевых этапах воронки онбординга — это полезное упражнение. Но затачивать работу над активацией исключительно под оптимизацию этой метрики — неверно.

Всегда можно создать онбординг с конверсией в прохождение, которая будет близка к 100%. Для этого достаточно сократить его до одного шага. К сожалению, эффективность донесения ценности при этом будет стремиться к нулю.

Ваша задача — найти оптимальный путь, который позволит пользователю понять, как и где продукт может быть ему полезен. Такой путь неминуемо создаст сопротивление, но оно необходимо для достижения целевого эффекта.

Оценка активации на основе доли пользователей, которые испытали “aha moment”

“Aha moment” — это момент, когда пользователь впервые испытывает добавочную ценность продукта на собственном опыте.

Многие команды определяют “aha moment” для продукта, а затем оценивают эффективность активации на основе того, какая доля пользователей получила этот опыт. Этот подход значительно лучше прошлого, но изолированное использование такой метрики тоже может привести к неправильным решениям.

Во-первых, для многих продуктов невозможно выделить единственный “aha moment”. Сервис может решать несколько разных задач (выполнять несколько разных «работ» в терминологии фреймворка JTBD). В этом случае пути к осознанию ценности для пользователей с разными юзкейсами будут различаться. Выделение единственного “aha moment” и соответствующей метрики активации приведет к тому, что команда будет толкать всех пользователей по единому пути, который не для всех имеет смысл.

Например, в Dropbox новые пользователи могут приходить из разных каналов и с разными задачами. Кто-то получил ссылку от знакомого на файл для скачивания, кто-то хочет организовать хранение файлов в команде, кто-то хочет освободить память смартфона от фотографий, а кого-то позвал знакомый через реферальную программу.

Кратчайший путь пользователя к получению ценности будет зависеть от конкретного юзкейса. Поэтому для каждого из этих юзкейсов потребуются разные “aha moments”, соответствующие метрики и механизмы активации.

Если команда выберет один “aha moment” и будет всеми силами толкать пользователей к нему, это заранее ограничит потенциал донесения ценности до пользователей с другими юзкейсами.

Отсутствие доказательств причинно-следственной связи между выбранной метрикой активации и метрикой долгосрочного успеха пользователей

Другая распространенная ошибка заключается в том, что команда не проверяет, есть ли причинно-следственная связь между выбранной метрикой активации и долгосрочным успехом пользователей.

Для того, чтобы доказать причинно-следственную связь, нужно провести эксперимент, где в рамках изучаемой характеристики будет создана разница между группами. Если получится доказать, что эта характеристика действительно влияет на долгосрочный успех пользователей, то дальше можно фокусировать усилия на ее улучшении.

Но даже в этом случае остаются риски. Попытка отразить сложный окружающий мир исключительно через метрики неминуемо ведет к потере важной информации.

Давайте предположим, что Instagram определил “aha moment” как ситуацию, когда новый пользователь подписался на десять пользователей. Достижение такого состояния повышает вероятность получения качественного контента и фидбека на собственные публикации в соцсети. После этого команда с помощью эксперимента доказала, что рост доли пользователей с десятью подписками влияет на долгосрочный Retention. Далее команда переходит в режим, где ищет любые способы увеличить выведенную метрику активации.

Проблема с таким подходом возникает, когда команда начинает мыслить в терминах метрик и теряет за ними пользователей.

Ценность подписки на десять близких активных друзей, на десять неактивных знакомых, на десять знаменитостей или на десять случайных аккаунтов будет совершенно разной. При этом на уровне метрики все они будут выглядеть одинаково.

Более того, команда может решить, что для улучшения метрики активации можно самостоятельно подписать нового пользователя на десять других аккаунтов. Это улучшит метрику активации, но вовсе не обязательно приведет к тому, что пользователь сможет осознать ценность Instagram.

Это не значит, что выбор метрики, характеризующей “aha moment”, не имеет смысла. Важно то, что такая метрика не может быть единственной для оценки продуктовых решений, связанных с активацией пользователей.

Измеряйте эффективность активации на основе доли пользователей, которые стали регулярно использовать продукт

Для измерения эффективности активации подойдут метрики, отражающие долю новых пользователей, которые стали регулярно использовать продукт для решения своих задач. При этом вас интересует не разовый факт использования, а именно объем той «работы», которую продукт выполняет для пользователей.

Например, если ваш продукт решает регулярную задачу, то оценка эффективности активации должна происходить на основе Retention в целевое действие. Именно это является основным сигналом успешного донесения добавочной ценности до новых пользователей.

Для e-commerce маркетплейса хорошей метрикой для оценки активации будет Retention в покупки. Для мессенджера — Retention в отправку сообщений. Для travel-приложения — Retention в бронирование отелей.

Еще более полно отражают ситуацию метрики с объемом определенной активности от когорты: общий объем покупок на маркетплейсе (GMV от когорты пользователей), общий объем отправляемых сообщений в мессенджере от когорты пользователей, количество и сумма бронирований через travel-сервис от когорты. Эти метрики характеризуют, какой объем «работы» в жизни человека теперь выполняет ваш продукт. Чем больший объем «работы» ваш продукт способен забрать у альтернативных решений, тем сильнее его product/market fit.

Ключевые шаги на пути к успеху пользователя

Цель работы над активацией — научиться доносить ценность продукта до максимальной доли новых пользователей из целевого сегмента рынка.

Именно поэтому для анализа эффективности активации мы оцениваем уровень плато в Retention в целевое действие или объем «работы», который продукт выполняет для нового пользователя.

Это не значит, что промежуточные метрики, характеризующие шаги на пути к успеху пользователя, бесполезны. С их помощью не стоит оценивать эффективность активации, но они помогают понять, как именно разные продуктовые изменения влияют на опыт пользователей и трансформируются в изменение Retention или другой ключевой метрики.

В следующем материале мы обсудим, как сформировать промежуточные метрики, влияющие на активацию пользователя. Для этого нам нужно будет точно понимать, какую задачу хочет решить пользователь, и как именно продукт создает добавочную ценность в ее рамках. Исходя из этого мы будем раскручивать в обратном направлении необходимые шаги на пути к финальному успешному состоянию:

• Мы научимся определять “aha moment” — момент, когда пользователь впервые испытал ценность продукта;
• Мы научимся определять необходимые условия для того, чтобы пользователь в теории мог получить ценность от продукта.