Как найти “aha moment” с помощью качественных и количественных методов анализа

Это материал из серии об активации — о том, как пользователи проходят путь от знакомства с продуктом до осознания его ценности.

В этом материале обсудим, как найти “aha moment” с помощью качественных и количественных методов анализа.

В предыдущем материале мы обсудили ключевые шаги, необходимые для осознания пользователем добавочной ценности продукта. Эти шаги будут различаться в зависимости от задачи, которую пользователь хочет решить с помощью продукта, то есть в рамках конкретного юзкейса.

Перейдем к способам поиска “aha moment”.

Распространенная ошибка при поиске и определении “aha moment”

Распространенная ошибка при попытках определить “aha moment” — начинать сразу с количественных методов анализа. То есть с расчета корреляции между разными действиями и долгосрочным успехом пользователей, с изучения динамики Retention когорт пользователей, которые совершали разные действия.

• Во-первых, в рамках разных юзкейсов могут быть различные “aha moments” и пути к ним. Идентифицировать их количественными методами не получится.
• Во-вторых, при работе исключительно на уровне метрик теряется много важной информации: контекст пользователя, доступные ему альтернативы, добавочная ценность. Без этой информации сложно понять мотивы пользователя и строить механизмы донесения ценности.

Поэтому определение “aha moment” имеет смысл начинать с качественных методов анализа, а затем уже уточнять через количественные. Далее мы рассмотрим алгоритм поиска “aha moment” в рамках конкретного юзкейса в продукте.

Чтобы глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в GoPractice.

→ Программа «Профессия: продакт-менеджер» поможет вам перейти в продакт-менеджмент из смежной роли или индустрии.

→ В «Симуляторе управления продуктом на основе данных» вы научитесь принимать решения с помощью данных и исследований при создании продукта.

→ В «Симуляторе управления ростом продукта» найдете пути управляемого роста и масштабирования продукта.

→ В «Симуляторе SQL для продуктовой аналитики» поймете, как применять SQL для решения продуктовых и маркетинговых задач.

→ В «Симуляторе управления ML/AI-проектами» научитесь применять технологии машинного обучения с пользой для бизнеса.

→ Не знаете с чего начать? Пройдите бесплатный тест для оценки навыков управления продуктом. Вы определите свои сильные стороны и слепые зоны, получите план профессионального развития.

→ Еще больше ценных материалов и инсайтов — в телеграм-канале GoPractice.

Определение “aha moment” c помощью качественных методов анализа

Для определения потенциальных “aha moments” вам нужно ответить на следующие вопросы:

• В рамках какой задачи («работы» в терминологии фреймворка JTBD) ваш продукт достиг product/market fit?
• Какие есть альтернативы для решения этой задачи?
• Как ваш продукт создает добавочную ценность относительно каждой из них?

Наилучший способ получить ответы на эти вопросы — провести глубинные JTBD-интервью с пользователями, которые осознали пользу продукта и начали его регулярно использовать. Именно такие пользователи являются лакмусовой бумажкой ценности.

Если добавочная ценность Zoom заключается в высоком качестве связи по сравнению с альтернативами, то «кандидатом» на “aha moment” будет проведение звонка, где никто не столкнулся с проблемами со связью.

Если добавочная ценность Pinterest при выборе стиля для реновации дома заключается в том, что он дает намного более качественные рекомендации, чем поиск в Google или просмотр тематических журналов, то потенциальным “aha moment” может быть создание доски с десятью понравившимися изображениями.

В случае с Workplace by Meta (платформой для коммуникации внутри компании) консистентный фидбек от успешных пользователей из крупных компаний состоял в том, что за неделю использования Workplace они узнавали о своей компании и коллегах намного больше, чем за все время работы до этого. Это может быть сложно понять людям из технологических компаний с открытой культурой, но в мире есть довольно много организаций, где сотрудники находятся в изолированной среде и плохо понимают, что происходит на уровне всей компании в целом. В рамках этого юзкейса в Workplace потенциальным “aha moment” мог бы быть просмотр десяти постов от коллег в ленте или же десяти взаимодействий с контентом — постов, комментариев, сообщений, лайков.

На этом этапе вам не нужно точно определять “aha moment”. Вам лишь нужно подобрать несколько «кандидатов» — целевых действий, которые с высокой вероятностью позволяют пользователям прочувствовать добавочную ценность продукта.

Для решения этой задачи вам может помочь следующее упражнение.

• Возьмите несколько продуктов, которыми вы пользуетесь каждый день;
• Вспомните, чем вы пользовались до них;
• Ответьте на вопрос, что вас убедило изменить способ решения задачи. В какой момент вы осознали, что новый способ эффективнее старого?

Размышления о примерах из личного опыта позволят лучше понять связь между добавочной ценностью и действиями, которые помогают ее осознать.

Определение “aha moment” c помощью количественных методов анализа

Изучение добавочной ценности продукта с помощью качественных исследований позволяет сузить набор потенциальных “aha moments” в рамках конкретного юзкейса. Дальше вы можете воспользоваться количественными методами, чтобы подобрать оптимальный “aha moment” и соответствующую метрику.

Нам нужно определить такой “aha moment”, который с наибольшей вероятностью ведет пользователей к успеху в рамках юзкейса. Для этого нам нужно будет убедиться, что:

• Пользователи, которые выполнили целевое действие, с высокой вероятностью становятся успешными. Например, продолжают регулярно обращаться к продукту.
• Пользователи, которые не выполнили целевое действие, с высокой вероятностью не становятся успешными. То есть не продолжают регулярно обращаться к продукту.
• Между определенным целевым действием и успехом пользователя есть причинно-следственная связь.

Структура метрики, описывающей “aha moment”

Для описания “aha moment” мы будем использовать следующую структуру:

Пользователь совершил X действий за Y дней с момента регистрации.

Потенциальные действия для достижения “aha moment” мы определили ранее с помощью качественных исследований.

Выбор периода с момента регистрации во многом зависит от типа продукта и частотности юзкейса. Для ежедневного юзкейса стоит взять один или несколько дней после регистрации. Для рабочих продуктов это может быть неделя или несколько недель. Это соответствует стандартному рабочему циклу. Для сервисов путешествий — месяцы.

Мы ограничиваем период достижения “aha moment” после регистрации, так как у новых пользователей есть конечный объем мотивации, чтобы разобраться в том, чем продукт может быть для них полезен. Без достижения целевого опыта через некоторое время после регистрации вероятность превратить нового пользователя в успешного снижается.

Давайте вернемся к примеру Workplace и определим потенциальные “aha moments” для юзкейса в крупной традиционной организации.

• С помощью качественных исследований мы выяснили, что пользователи из крупных организаций обнаружили добавочную ценность в том, что узнают о компании за несколько дней использования Workplace больше, чем за все время работы до этого.
• Пользователь узнает что-то о своей компании, когда получает качественный контент. Поэтому в качестве целевого действия мы можем использовать просмотр постов в ленте.
• Вы можете возразить, что контент может быть нерелевантным. Мы можем попробовать учесть этот фактор, начав использовать в качестве целевого действия активность, связанную с контентом (пост, комментарий, сообщение отправлено или получено, лайк). Мы не знаем, какое из этих действий лучше доносит ценность. Нам предстоит ответить на этот вопрос на следующем шаге.
• Время с момента регистрации мы ограничим периодом в неделю (7 дней), так как имеем дело с рабочим инструментом.

Таким образом, для юзкейса Workplace в крупной традиционной организации мы cформировали два потенциальных варианта “aha moments” для конечного пользователя:

• Пользователь просмотрел X постов за 7 дней.
• Пользователь X раз взаимодействовал с контентом (пост, комментарий, сообщение отправлено или получено, лайк) за 7 дней.

В реальной ситуации мы скорее всего сформировали бы больше потенциальных вариантов “aha moments”. Мы можем изменить срок достижения ценности (вместо 7 дней взять 1 день или 14 дней). Можем добавить другие потенциальные действия, которые ведут к осознанию ценности: просмотр постов от близких коллег, просмотр постов от топ-менеджмента и другие.

Но для целей иллюстрации подхода в этом материале давайте ограничимся двумя вариантами “aha moments”, которые мы определили выше.

Корреляционный анализ потенциальных “aha moments”

На прошлом шаге мы определили потенциальные “aha moments”. Теперь нам нужно выяснить, каково оптимальное значение количества действий для каждого из вариантов.

Для этого нам нужно сформулировать критерий долгосрочного успеха в рамках заданного юзкейса, а затем для разных вариантов “aha moments” проверить следующее:

• Насколько факт достижения “aha moment” коррелирует с долгосрочным успехом пользователя;
• Насколько факт отсутствия достижения “aha moment” коррелирует с тем, что пользователь не достиг успеха.

В идеале нам нужно найти действие, которое приводит к успеху максимальное количество выполнивших его пользователей. И при этом его невыполнение приводит к максимальному количеству пользователей, не ставших успешными.

Разберем пример, как провести такой анализ

Возьмем один из потенциальных “aha moments” для Workplace, где пользователь просмотрел X постов за 7 дней.

В качестве критерия успеха пользователя мы используем факт возвращения в Week 4 после регистрации. Именно к этому моменту кривая Retention для пользователей Workplace выходит на плато.

Для анализа нам потребуется когорта новых пользователей, пришедших в продукт более четырех недель назад. Мы должны иметь возможность подсчитать критерий успеха для каждого из пользователей, то есть выяснить — вернулся ли он в Week 4 или нет.

Далее для каждого пользователя из когорты нужно будет заполнить следующую информацию:

• Пользователь стал успешным, то есть вернулся в Week 4, или нет;
• Пользователь просмотрел 1 или более постов за 7 дней;
• Пользователь просмотрел 2 или более постов за 7 дней;
• …
• Пользователь просмотрел 30 или более постов за 7 дней.

После заполнения этих данных нам нужно подсчитать для каждого из действий, с какой вероятностью его выполнение приводит к успеху пользователя:

• Какова доля пользователей, ставших успешными, среди тех, кто просмотрел 1 или более постов за 7 дней;
• Какова доля пользователей, ставших успешными, среди тех, кто просмотрел 2 или более постов за 7 дней;
• …
• Какова доля пользователей, ставших успешными, среди тех, кто просмотрел 30 или более постов за 7 дней.

Нам также важно знать, какова доля пользователей, не совершивших целевое действие, не понявших ценности продукта и не ставших успешными:

• Какова доля пользователей, не ставших успешными, среди тех, кто не просмотрел 1 или более постов за 7 дней;
• Какова доля пользователей, не ставших успешными, среди тех, кто не просмотрел 2 или более постов за 7 дней;
• …
• Какова доля пользователей, не ставших успешными, среди тех, кто не просмотрел 30 или более постов за 7 дней.

Теперь вам нужно будет подобрать целевое значение для “aha moment”, которое максимизирует обе целевые метрики. Подходы к выбору оптимального значения могут быть разными. Они сильно зависят от конкретного кейса.

В большинстве случаев имеет смысл найти момент, где первый график начинает выходить на плато, а затем подобрать в этом диапазоне значение, максимизирующее метрику на втором графике.

Более формальный метод — подсчитать произведение двух метрик и выбрать значение, которое максимизирует целевую функцию.

В данном случае мы можем взять в качестве “aha moment” просмотр 5 или более постов в течение 7 дней с момента регистрации. Такой критерий неплохо предсказывает успех пользователей — 65% возвращаются в Week 4. Вероятность неуспеха при невыполнении критерия при этом чуть хуже — лишь 55%.

Выбор оптимального “aha moment”

Корреляционный анализ позволил нам сформировать для каждого из целевых действий потенциальный “aha moment”. Теперь нам нужно выбрать из оставшихся «кандидатов» оптимальный вариант.

Давайте предположим, что в результате анализа вы получили следующие показатели.

«Пользователь просмотрел 5 постов за 7 дней после регистрации»:

• 65% вероятность успеха, если пользователь совершил действие;
• 55% вероятность неуспеха, если пользователь не совершил действие.

«Пользователь 7 раз взаимодействовал с контентом за 7 дней после регистрации»:

• 85% вероятность успеха, если пользователь совершил действие.
• 75% вероятность неуспеха, если пользователь не совершил действие.

Чем ближе показатели “aha moments” по обеим характеристикам к 100%, тем лучше конкретный вариант целевого действия доносит ценность продукта до пользователей.

В данном случае второй вариант “aha moment” выигрывает по обоим параметрам, поэтому мы выберем его — «Пользователь 7 раз взаимодействовал с контентом за 7 дней после регистрации».

В случае, если показатели метрик разнонаправлены, вам нужно будет сделать выбор на основе вашего понимания, какой из параметров важнее в этом случае, а также качественного понимания того, какое действие лучше доносит добавочную ценность.

Валидация причинно-следственной связи между “aha moment” и успехом с помощью эксперимента

Выше мы использовали корреляционный анализ для определения потенциальных “aha moments” и выбора лучшего критерия. Но важно помнить, что наличие корреляции между определенным действием и долгосрочным успехом вовсе не говорит о наличии причинно-следственной связи.

Поэтому в качестве финального шага алгоритма определения “aha moment” нужно доказать, что между найденным действием и успехом пользователя в продукте (осознанием добавочной ценности и последующим использованием), есть причинно-следственная связь.

Единственный способ сделать это — провести эксперимент. Вам нужно будет добиться того, чтобы разные доли новых пользователей испытали “aha moment” в тестовой и контрольной версиях. Если в результате этого изменятся и доли успешных пользователей, то будет доказана причинно-следственная связь. Для валидации причинно-следственной связи часто используют ухудшающие эксперименты.

Вероятность же того, что между “aha moment” и успехом будет не только корреляция, но и причинно-следственная связь тем выше, чем ближе к 100% были показатели, предсказывающие успех и неуспех пользователей на прошлом шаге анализа.

Полный алгоритм определения “aha moment”

Для закрепления пройдем все шаги заново, но не погружаясь в детали.

“Aha moment” зависит от задачи, которую пользователь хочет решить с помощью продукта. Поэтому при определении “aha moment” мы всегда должны точно указывать юзкейс.

Начинать поиск “aha moment” имеет смысл с качественных методов анализа. Для определения «кандидатов» вам нужно ответить на следующие вопросы:

• В рамках какой задачи («работы» в терминологии фреймворка JTBD) ваш продукт достиг product/market fit?
• Какие есть альтернативы для решения этой задачи?
• Как ваш продукт создает добавочную ценность относительно каждой из них?

Ответы на эти вопросы позволят определить такие действия пользователей в продукте, которые имеют потенциал привести его к осознанию его добавочной ценности.

Следующим шагом имеет смысл применить количественные методы анализа.

Для описания критерия “aha moment” можно использовать следующую структуру: «Пользователь совершил X действий за Y дней с момента регистрации».

Следующим шагом для каждого целевого действия нужно подобрать оптимальные значения количества действий с помощью корреляционного анализа.

Далее мы выберем критерий “aha moment”, который максимизирует два следующих показателя:

• Доля пользователей, ставших успешными после выполнения целевого действия.
• Доля пользователей, не ставших успешными, если не выполнили целевое действие.

Финальный шаг алгоритма определения “aha moment” — валидация наличия причинно-следственной связи между “aha moment” и успехом пользователя. Для этого нужно будет провести эксперимент, в рамках которого необходимо создать разницу в долях пользователей, испытавших ценность. Если в результате эксперимента изменятся и доли успешных пользователей, то будет доказана причинно-следственная связь.

Необходимые условия для достижения “aha moment”

Эффективность активации нужно измерять на основе доли пользователей, которые осознали добавочную ценность и стали решать свои задачи с помощью продукта. Для этого можно использовать либо уровень плато Retention, либо объем «работы», который продукт выполняет для пользователей.

Для понимания же того, как разные изменения в продукте влияют на пользовательский опыт, нам нужны промежуточные метрики, описывающие процесс донесения ценности. Для формирования системы метрик, описывающих активацию в продукте, мы взяли успешного пользователя и стали двигаться в обратном направлении.

• В предыдущем материале мы выяснили, что путь к ценности в рамках разных юзкейсов будет различаться. Поэтому нам будут нужны разные критерии и метрики под разные юзкейсы в продукте.
• В этом материале мы разобрали алгоритм определения “aha moment” в рамках конкретного юзкейса в продукте.
• В следующем материале мы обсудим, как определить необходимые условия для достижения “aha moment” в рамках конкретного юзкейса.