Многие начинающие продакты задаются вопросом о том, откуда возникают продуктовые гипотезы и как с ними дальше работать.
Мы обратились к продакт-менеджерам из сообщества GoPractice, чтобы они поделились своим опытом работы с гипотезами, их тестированием и приоритизацией. В этом материале мы собрали рассказы трех продакт-менеджеров из совершенно разных продуктов.
Важное замечание: в данном случае нам было интересно поделиться реальным опытом продактов, но мы не преследовали цель составлять гайд по правильному подходу к работе с гипотезами.
Спасибо нашим соавторам, которые приняли участие в создании этого материала:
- Эмилия Арсланова, Product Owner в «Домклик»
- Куаныш Идрисов, продакт-менеджер в AlemHealth
- Юлия Боброва, продакт-менеджер в МТС
Если вам тоже интересно стать соавтором для GoPractice, то подключайтесь к нашему .
Об авторе
Меня зовут , я Product Owner в «Домклик». Я пришла в компанию в качестве менеджера по исследованиям для выстраивания этой функции, а затем сделала переход в продуктовый менеджмент.
С 2023 года я также являюсь ментором студентов НИУ ВШЭ и преподавателем управления цифровыми продуктами на четвертом курсе программы «Бизнес-информатика». Веду о карьере и работе в IT.
О компании и продукте
В «Домклик» мы делаем сервис полного цикла в сфере недвижимости, закрывая потребность клиента целиком: от появления мысли о покупке до переезда в новое жилье. Например, у нас есть свой классифайд недвижимости, где можно изучить рынок и подобрать вариант, различные сервисы для юридической проверки и заключения сделки купли-продажи, а также сейчас активно развивается направление аренды.
В «Домклик» я успела поработать над развитием двух продуктов в роли Product Owner. Первый — «Карточка объявления», наиболее посещаемая страница на нашем классифайде. Карточка содержит в себе полную информацию об объекте и доме, фотографии, описание, а также возможность связаться по объявлению с продавцом. За время работы над этим продуктом мы с командой провели редизайн, который значимо улучшил структуру объявлений, внедрили фичу для упрощения торга и сервис для ускорения продаж для профессионалов рынка — риелторов.
С недавних пор я перешла в направление долгосрочной аренды и делаю сервис для проверки жильца перед сдачей жилья.
Как устроена работа с гипотезами в продукте
Откуда возникают продуктовые гипотезы
В двух словах:
Для развития текущей функциональности продукта источниками гипотез выступают фич-реквесты, данные о поведении пользователей и их фидбек.
Для долгосрочного развития продукта — опора на стратегию компании, лучшие практики рынка и тренды.
По моему опыту, источники гипотез отличаются в зависимости от масштаба необходимых изменений: нам нужно улучшить уже существующую фичу в продукте или создать план развития целого продукта на два квартала?
Если первое, то я опираюсь в большей степени на отзывы клиентов и метрики, а если второе — на тренды, конкурентов, стратегию компании. Приведу примеры на оба случая.
Что касается первого, то в этом году мы с командой запустили сервис для продавцов «Рассылка скидок». С помощью него можно продавать объекты быстрее за счет рассылки персонализированных скидок тем клиентам, кто добавил в избранное.
В режиме soft launch мы открыли доступ к сервису ограниченному числу агентств недвижимости, собрали метрики, построили воронку и обнаружили узкие места, с которых было решено начать улучшать продукт.
Наравне с этим принимались во внимание отзывы риелторов, которые «обкатывали» наш продукт. Отзывы собирались в формате беседы на тему использования продукта спустя некоторое время после запуска. Таким образом, у нас появился список гипотез для развития продукта.
Интересно, что часть гипотез мы получили в формате «болей» с неочевидным решением, которое нам предстояло придумать, проработав техническую реализацию. В дальнейшем это повлияло на приоритизацию.
Если мы говорим про долгосрочное развитие продукта, арсенал источников расширяется. С различными «весами», вдобавок к перечисленным выше, у нас принимались во внимание факторы:
- Стратегия компании и направления. Без опоры бэклог может превратиться в хаотичный список фичей в погоне за улучшением метрики. Другое дело, когда план развития ложится в заранее определенную логику. В нашем случае это было привлечение в сервис профессионалов рынка, так как их активность на классифайде в несколько раз выше. Для того чтобы их привлечь, нужно предложить им полезные инструменты для работы, такие как «Рассылка скидок».
- Действия конкурентов. У нашего продукта есть несколько конкурентов, которые активно развиваются. Был период, когда наша карточка объявления сильно уступала по функциональности. Конечно, это не значит, что нужно заниматься только устранением пробелов по функциональности и быть в догоняющей позиции, но принимать это во внимание точно следует.
Приведу пример. Коллеги по цеху («Авито») внедрили возможность торга на объявлениях. Конечно, покупатель может поторговаться самостоятельно в чате, продумать сообщение и желаемую цену, но намного удобнее, когда это можно сделать в два клика. Мы в свою очередь, понимаем, что торг в сфере недвижимости — регулярная практика: объекты не продаются по той цене, по которой рекламируются на площадках. Наши продавцы предпочитают работать по голландскому аукциону, выставляя объект по максимальной цене и планомерно снижая цену. Поэтому мы приняли решение внедрить эту функциональность и у нас. Затем мы стали улучшать инструмент, добавив в интерфейс:
- диапазон рыночной стоимости, по которой обычно продаются похожие квартиры;
- подсказку с вероятностью того, согласится ли продавец на предлагаемую цену (если покупатель хочет слишком большую скидку, мы укажем это и предложим оптимальную цену).
Как устроен процесс приоритизации гипотез для проверки
В двух словах:
При приоритизации гипотез мы учитываем масштаб изменений в продукте и специфику продукта и аудитории.
Популярный фреймворк RICE мы использовали тогда, когда у нас было сильное отставание по функциональности и большой список фичей в бэклоге.
Для определения очередности и способа проверки мы с командой принимали во внимание несколько факторов.
Масштаб изменения в продукте. Некоторые из наших гипотез крайне трудоемки в реализации, не всегда можно обойтись «малой кровью»: то есть разработать фичу в рамках двухнедельного спринта, затем посчитать эффект и раскатить изменение в случае успеха.
Рассмотрим упомянутый выше сервис по рассылке скидок или новый тариф продвижения для продавцов с юридической проверкой. Разработка MVP обойдется компании дорого, поэтому нам нужно проверить гипотезу без привлечения разработки. От этого зависит дальнейшее планирование ресурсов команды. Если мы принимаем решение тестировать гипотезу без привлечения разработки, нужно выделить время только менеджера продукта и в некоторых случаях дизайнера для подготовки прототипа. Далее саму гипотезу мы проверяем с помощью количественного опроса или пресейла: о них подробнее чуть ниже. К опросу можно приложить часть интерфейса, чтобы он стал более наглядным.
Аналогичная ситуация с пресейлом: презентовать предложение проще с визуальным рядом. В обоих случаях составление и запуск опроса или проведение пресейла — это обязанность менеджера продукта, по крайней мере в моем способе работы с гипотезами. Технически рассылать email/push с опросами помогают мои коллеги из отдела маркетинга, но методология — это моя зона ответственности. Отдельного департамента, отвечающего за исследования, у нас в компании нет.
Специфика продукта и аудитории. Карточка объявления — продукт с большим трафиком, что позволяло нам проводить A/B-тестирования и быстро набирать аудиторию для статистически значимых результатов. В другом кейсе, когда мы развивали B2B продукт, проводить A/B было совершенно нецелесообразно. Для этого мы вывели другой способ проверки, о котором напишу в разделе ниже.
Стратегия. В нашем кейсе мы с командой понимали, что приоритет у рассылки скидок выше, поэтому ставили цель запустить MVP, а проверку других гипотез реализовать после его запуска.
Результаты приоритизации с помощью фреймворка RICE. На мой взгляд, фреймворк больше применим для B2C-продуктов с большой посещаемостью, где можно привести гипотезы к единой шкале оценки. А также для «сырых» продуктов, где есть внушительный список гипотез по улучшению и не всегда очевидно, за что браться в первую очередь.
Мы его также использовали, когда у нас было сильное отставание по функциональности и большой список фичей в бэклоге. Например, наша цель — увеличить контактность по объявлениям. Примеры фичей, которые имеем в списке гипотез: заказ обратного звонка и кнопку звонка в галерее. Оцениваем каждую гипотезу по составляющим фреймворка и всегда имеем отранжированный список. Лично я использовала шкалу от 1 до 10, для оценки охвата использовала аналитику, а для трудозатрат — привлекала своих разработчиков в случае сомнений. В результате расчетов мы поняли, что для проверки гипотезы по заказу обратного звонка трудозатрат на верстку будет чуть больше, но охват значительно превышает кнопку, спрятанную в галерее. По итоговому скорингу выигрывает фича обратного звонка, поэтому мы взяли ее в первую очередь.
Как проходит этап проверки гипотезы
Для проверки использовала количественные и качественные методы. Раскрою основные.
Количественные:
- Реализация изменений в продукте и запуск в A/B. Это классический способ, когда улучшаем уже существующий продукт, вносим изменения и снимаем влияние на ключевую метрику. Самый яркий пример из практики с применением этого метода — оптимизация воронки торга. Мы подготовили версию фичи с измененным копирайтом и добавили ценовые подсказки. Как результат, в несколько раз увеличили количество отправляемых запросов на торг.
- Fake Door и запуск в A/B. Иногда необходим, когда требуется измерить спрос на продуктах с высоким трафиком, а разработка полноценного функционала трудоемка. Не рекомендую злоупотреблять этим методом из-за плохого клиентского опыта — только в случаях, когда по-другому нельзя оценить спрос.
- Количественные опросы. Использовали для оценки востребованности еще не существующих функций/фичей, где не требуется реакция пользователя на интерфейс в моменте. Например, с помощью опросов мы оценивали перспективы запуска площадки для подбора риелторов.
Качественные:
- Пресейл. Отличный способ оценить перспективу оффера/продукта для узкой аудитории, B2B и для сложных продуктов, ценность которых нужно объяснять. В чем суть:
— оформляем наше предложение (которое еще не существует в проработанном виде) в виде презентации или прототипов;
— приходим к целевой аудитории, рассказываем о продукте, называем цену и предлагаем его купить — так, словно продукт уже существует.
В отличие от гипотетических рассуждений о продукте, этот способ позволяет сразу оценить готовность заплатить цену Х за озвученную ценность Y, а также возникающие сомнения и возражения. Таким способом мы оценивали перспективы запуска тарифа продвижения с юридической проверкой и отказались от этой гипотезы. Очень рекомендую этот способ.
Про приоритизацию валидированных гипотез на уровне бэклога
Если смотреть на уровне годового планирования, зачастую у нас выделялись крупные проекты, которые потребуют фулл-тайм вовлечения команды в течение целого квартала. Например, редизайн карточки, рассылка скидок. Фоново или в промежутках мы планируем проверку небольших гипотез, которые в случае успеха можно полноценно реализовать в следующем квартале.
Если фича крупная и стратегически важная, я принимала решение направить все ресурсы команды на ее реализацию, а менее важные фичи отодвинуть. Помогает избежать ситуации «за двумя зайцами погонишься — ни одного не поймаешь». При этом, если образуется «гэп» в ресурсах, например фронт освободился раньше бэка, можем взять следующую перспективную гипотезу из нашего списка. Чтобы понять, какую гипотезу брать следующей, мы возвращались к списку отранжированных гипотез по RICE.
В момент, когда исчерпали гипотезы с высоким скорингом, мы уже собрали обратную связь по продукту «Рассылка скидок» и приступили к доработкам критичного для риелторов функционала. «Критичного» в данном случае означает, что подавляющее большинство пользователей упоминали про эти недостатки в продукте, когда мы с ними общались и запрашивали отзыв через опрос.
Пример изменения в продукте, которое прошло путь от возникшей гипотезы через приоритизацию и к релизу
Сервис рассылки скидок, о котором я рассказывала выше. Итак, кратко.
Целевая аудитория: риелторы.
Как работает: можно рассылать скидки на те объекты, которые пользователи добавили в избранное.
Почему гипотеза прошла приоритизацию и проверку:
- Уже было некое подтверждение с рынка о востребованности функциональности, так как его запускал «Авито».
- Фича решает ярко выраженную потребность риелторов продавать объекты быстрее, что подтверждалось на интервью.
- Так как комиссионные у риелторов хорошие, заплатить устраивающую нас сумму за такой сервис для них не проблема, что подтверждалось на пресейлах.
- Фича решает потребность покупателя купить объект по более выгодной цене и повышает контактность по объявлениям.
Об авторе
Привет! Меня зовут Куаныш Идрисов.
Я продакт-менеджер в компании AlemHealth (alumni YC W17), с HQ в Сингапуре. В нашей команде я отвечаю за ключевые решения по развитию продукта.
Хочу поделиться нашим подходом к работе с продуктовыми гипотезами.
О компании и продукте
AlemHealth — это платформа, связывающая пациентов, врачей и радиологов в более чем 30 странах (Африка, Азия, Австралия, США). Наша цель — предоставлять доступ к качественной медицинской помощи благодаря программному и аппаратному обеспечению для обмена медицинскими изображениями и их анализу с помощью ИИ. Кроме того, мы предоставляем программное обеспечение, которое упрощает точную диагностику и распространение результатов пациентам и медицинским специалистам в любой точке мира.
Моя зона ответственности заключается в стратегическом развитии продукта, взаимодействии с клиентами по обратной связи и внедрении новых функций.
Как устроена работа с гипотезами в продукте
Откуда возникают продуктовые гипотезы
Гипотезы возникают из следующих источников:
- обратной связи с клиентами;
- аналитики пользовательской активности через Posthog;
- наблюдений стейкхолдеров;
- анализа конкурентов.
Как устроен процесс их приоритизации для проверки
Используя RICE Score (пример использования будет приведен ниже), мы определяем приоритеты гипотез в зависимости от их охвата, влияния на бизнес, уровня уверенности в успехе и затрачиваемых усилий.
Как проходит этап проверки гипотезы
— Вместе с дизайнером мы прорабатываем черно-белый мокап и отправляем (если этим можно донести ценность) на проверку пользователям, чтобы провести интервью и получить фидбэк.
— Пытаемся сделать v1 с наименьшим использованием сил команды разработки.
— Выкатываем фичу с отметкой, что это Beta продукта и использованием флагов активации Feature Flags (фича появляется только у той категории пользователей, которых мы добавили в когорту тестирования), которые можно настроить в инструмент аналитики Posthog.
— Получаем от них фидбэк и мэтчим эти данные с аналитикой пользования в Posthog.
— Уходим на улучшения, а если все получилось, раскатываем постепенно на более широкую категорию.
Про приоритизацию валидированных гипотез на уровне бэклога
После тестирования и сбора обратной связи мы снова проводим приоритизацию и включаем успешные гипотезы в наш продуктовый бэклог.
Пример изменения в продукте, которое прошло путь от возникшей гипотезы через приоритизацию и к релизу
Использование WhatsApp для обмена медицинскими изображениями и проведения анализа между радиологами и врачами внутри и между медицинскими учреждениями
Началось все с наблюдения, что часто врачи не знают электронную почту и в некоторых случаях вводят случайные адреса. Например, радиолог который хочет поделиться медицинским изображениям с коллегой, доктором по имени Richard из госпиталя AfriGlobal, просто пишет почту richard@afriglobal.com, даже если такой почты не существуют. При этом это поле обязательно для заполнения в платформе. После они пытаются предоставить доступ другим радиологам для проверки и получения «второго мнения» от другого врача или радиолога другими способами.
Мы решили проанализировать рынки, на которых часто возникают такие проблемы с несуществующими почтовыми адресами. Для этого мы собрали обратную связь у нескольких врачей напрямую и через службу поддержки клиентов.
Из обратной связи с пользователями выяснилось, что в большинстве случаев у этих врачей имеется основной способ связи (мобильный телефон), но нет почтового ящика, а в нашей платформе поделиться медицинскими файлами можно было только через электронную почту. Как мы выяснили, эта проблема была особенно актуальна для рынков Нигерии и Ганы.
Прошлись с гипотезой по RICE Score:
- Reach (охват) — это две географии с самым большим количеством пользователей на платформе.
- Impact (воздействие) — значительно улучшит жизнь пользователей, а нам — предоставит доступ на новых пользователей вне платформы.
- Confidence (уверенность) — на 100% были уверены, что фича быстрореализуема и принесет значительную ценность, судя по данным из аналитики и обратной связи от пользователей.
- Effort (усилия) — не требовало значительных усилий; можно было реализовать и сделать релиз за полспринта (две недели).
Мы проанилизировали, какие мессенджеры чаще всего используются в этих странах. Мы заметили, что около 90% всех жителей Ганы и Нигерии используют WhatsApp.
У нас уже был опыт использования WhatsApp Business для маркетинга и поддержки, поэтому мы знали, что внедрение этой платформы не потребует много времени.
Мы быстро разработали дизайн, который позволил пользователям выбирать между email и WhatsApp для обмена медицинскими изображениями.
Бэкенд-разработчик закончил свою часть работы за один день. Мы не меняли контент и тексты, а просто адаптировали их для использования через WhatsApp.
Фронтенд-разработка также не заняла много времени. Мы внедрили эту фичу для определенной группы пользователей с использованием флагов активации (Feature Flags) и скрыли ее для остальных.
После анализа использования и убедившись, что новый способ обмена через WhatsApp начали использовать более 70% пользователей, а существенных багов нет, мы постепенно расширили доступ к нему для всех остальных пользователей.
Весь этот процесс полностью лежал в моей зоне ответственности.
Заключительные мысли автора
Работа с продуктовыми гипотезами — это ключевой этап в развитии любого продукта. Это требует не только аналитических навыков, но и понимания рынка, потребностей клиентов и гибкости в принятии решений.
Мы пытаемся делать это быстро и с минимальными усилиями разработчиков, потому что команда небольшая, а гипотез у нас очень много. И мы всегда мыслим тремя категориями:
- Как мы заонбордим новых клиентов, категории клиентов или новые географии?
- Как улучшить текущую монетизацию и какие дополнительные сервисы мы можем предложить и монетизировать?
- Как улучшить жизнь наших текущих пользователей и стейкхолдеров?
Это лишь один пример, который показывает наш процесс работы с продуктовыми гипотезами и роль продакт менеджера в этом процессе. Cейчас внедряем инструмент AlemHealth AI Assistant с использованием OpenAI для улучшения медицинский отчетов по исследованию и от гипотезы до релиза у нас это займет примерно две недели.
Об авторе
Меня зовут Юлия Боброва. Я работаю в МТС в вертикали телекома, занимаюсь запуском новых продуктов и поэтому много исследую. В свободное время веду и учусь. Не так давно прошла «Симулятор управления продуктом на основе данных».
Я расскажу про работу над гипотезами на примере продукта, который закрыла этим летом. Это тариф «Весь МТС Game+», который был запущен 27 сентября 2022 года и закрыт в 2023. Подробнее о нем можно .
Как устроена работа с гипотезами в продукте
Я пришла в МТС в начале 2023 года. Одной из моих задач было изучение фокусных сегментов аудитории (которые были выявлены благодаря масштабному исследованию). Один из таких сегментов — геймеры.
На момент моего прихода в компании уже был запущен тариф «Весь МТС Game+» и, конечно, выпускались разные модификации тарифов для геймеров.
Важно отметить, что в каждой телеком-компании есть задача привлечь новых абонентов, поскольку они обеспечивают рост бизнеса и прибыли. Если взглянуть на тарифную полку, можно заметить, что предложения делятся по типу оказываемых услуг связи и целятся в разные аудитории.
Итак, у меня есть задача определить что делать с продуктом — тарифом для геймеров «Весь МТС Game+».
Продукт показал себя не так, как мы ожидали, в части подключений, поэтому мне предстояло выяснить, почему так произошло и что мы можем предпринять.
Я двигалась последовательно:
- Начала с вопросов о тарифе: какие цели у продукта? из чего он состоит? как он влияет на общую стратегию? как запускали продукт? какая была коммуникация?
- Посмотрела аналитику в дашбордах: приток, отток, средний чек и т.д.
- Проанализировала конкурентов (какие операторы предлагают продукты для сегмента «геймеры» и чем они отличаются от нашего).
- Собрала информацию по рынку: как себя вообще сейчас чувствует сегмент? Многие разработчики ушли с рынка, и чтобы поиграть в действительно классную игру, иногда требуется пройти целый квест.
Параллельно я анализировала обезличенные данные по сегменту, чтобы лучше узнать пользователей: географию, доходы, в какие игры играют, какими еще сервисами пользуются.
Но этого было мало, я не получала ответа на вопросы:
- Почему продуктом пользуются?
- В чем его ценность?
Тогда я решила опросить абонентов тарифа. Нам удалось пообщаться с 12 людьми. Для проведения короткого опроса подготовили около 5 простых вопросов и использовали . Ответы почти сразу стали повторяться. Пользователей в продукте интересовала скорость и соотношение цены и качества связи.
Исследование помогло понять, что помешало продукту:
- Пользователи не так часто меняют тарифы на новые или приобретают их, то есть изначально мы могли выбрать не тот формат продукта;
- Недостаточно продвижения, мало рассказывали пользователям о ценности продукта;
- Пользователи играют в очень конкретные игры, а разработчики самых массовых и популярных игр покинули российский рынок.
Одна подзадача решена. Осталось понять, что делать с продуктом. Для этого необходимо лучше узнать сам сегмент аудитории и его размер.
Дело в том, что по ряду причин, аудитория геймеров очень важна для компании, поэтому мы продолжили работу над поиском решения, нацеленного именно на них.
У меня уже было представление о сегменте, характеристиках и паттернах поведения. Оставалось выяснить их частотность, тенденции, размеры сегментов и покупательскую способность. Это необходимо, чтобы понять, на каком сегменте стоит сфокусироваться и что для него наиболее характерно из того, что мы уже знаем. Для этого отлично подходят количественные исследования.
В итоге с командой исследователей мы провели онлайн-опрос на аудиторию в 1500 человек длительностью 20 минут.
В ходе исследования мы увидели:
- понятные боли, связанные с оплатой игр и уходом популярных платформ и разработчиков;
- определили размеры сегментов и покупательскую способность.
Данные помогли принять решение, на каком подсегменте нам стоит сфокусироваться. В итоге мы выбрали игроков на ПК и мобильных устройствах. При принятии такого решения мы ориентировались на следующие параметры:
- размер сегмента;
- частотность игровых сессий;
- готовность совершать внутриигровые покупки.
Игроки на консолях — очень узкий сегмент. Во-первых, потому что приставки и консоли были довольно дорогими, а в последние месяцы только выросли в цене. Во-вторых, частота игровых сессий и внутриигровых покупок у таких игроков более низкая относительно других двух сегментов.
Также новая информация помогла понять, в сторону чего нужно двигаться. Мы увидели, что игроки испытывают трудности с приобретением игр, но находят новые способы оплаты самостоятельно.
Значит мы можем больше внимания уделить партнерствам и контенту.
Таким образом, мы приняли решение закрыть тариф, чтобы подойти к сегменту другим образом, за счет предложения:
- опции увеличения скорости интернета на текущем тарифе;
- дополнительной игровой ценности, не заставляя пользователя менять тариф.
Так мы запустили «» в формате пилота.
Как я уже упоминала, пользователи не так часто меняют тарифы, в большинстве случаев не помнят их названий и редко вспоминают о наполнении. Часто это долгосрочный выбор. Подписка или услуга — это форматы продуктов, которые привычны и понятны пользователю. А в исследовании мы получили больше данных о предпочтениях геймеров. Поэтому и выбрали формат подписки, это более удобный формат для клиентов, чтобы попробовать и оценить предложение.
Далее мы планируем смотреть на количество подключений подписки и Retention. Если получим сигналы об успешности подписки, то рассмотрим привлечение новых партнеров.
Заключительные мысли автора
Гипотезы могут идти от данных, пользователей, анализа рынка и конкурентов.
Если информацию можно получить быстро, важно воспользоваться этим шансом и «спросить маму». До пользователя любого продукта можно дотянуться. Для этого есть друзья, знакомые специализированные группы по поиску респондентов и пользователи продукта, которые могут дать обратную связь.
Не всегда в исследовании нужно целиться в создание продукта при формулировке гипотез. Можно выйти на понимание MVP или MLP за счет сигналов от пользователей и рынка, а также тестов идей отдельного функционала за счет разовых предложений (скидка, услуга и тд).
Если вам тоже интересно стать соавтором для GoPractice, то подключайтесь к нашему боту в телеграме.
Автор иллюстрации к материалу —
