Продуктовые команды, которые пренебрегают частыми экспериментами, уверены, что знают свой продукт, пользователей и как добиться необходимых результатов. В то же время команды, которые полагаются на постоянные эксперименты, признают, что знают о продукте и пользователях очень мало. И именно такой подход открывает перед командами большие возможности для улучшения продукта.
Это перевод из англоязычного блога GoPractice. При желании вы можете изучить его в оригинале.
Успешная работа над продуктом напоминает научное открытие: вы двигаетесь от гипотезы к эксперименту и делаете выводы на основе полученных данных. Создавать продукты без экспериментов — значит полагаться на непроверенную (и часто ложную) гипотезу. И работать впустую.
С другой стороны, тщательно спланированный эксперимент поможет вам лучше понимать пользователей и продукт, видеть логические ошибки, корректировать направление развития и направлять усилия команды верным курсом.
Ниже — пример, который поможет лучше понять важность научных открытий и как они связаны с современной продуктовой работой.
Давным-давно у людей были разные представления о том, что такое Земля. Некоторые верили, что мир расположен на вершине огромного дерева или горы. Другие считали, что Земля плоская и стоит на трех слонах (змеях, черепахах и так далее).
Позднее греческие философы представили концепт геоцентрической системы мира, проложив тем самым дорогу к последующим научным открытиям. Но до них было еще далеко, а пока Земля считалась центром Вселенной, вокруг которой вращаются Солнце и другие планеты.
В 16 веке, в эпоху Ренессанса, представления о месте Земли во вселенной изменились вновь. На этот раз астроном и математик Николай Коперник поместил Солнце в центр своей модели Вселенной, а другие планеты, включая Землю, заставил вращаться вокруг Солнца. Он также доказал, что Земля оборачивается и вокруг своей оси.
Следом настало время сэра Исаака Ньютона, изложившего закон всемирного тяготения и сформулировавшего основные законы классической механики. Эти открытия сформировали фундамент классической физики. Ньютон сформулировал три закона движения, изложив теорию о бесконечности Вселенной, первоначально предложенную Иоганном Кеплером.
В 1687 году в своей работе «Математические начала натуральной философии» он обобщил наработки предшественников и сформулировал метод для моделирования Вселенной с помощью математического анализа.
Развивайтесь в профессии продакт-менеджера с помощью GoPractice.
→ «Профессия: продакт-менеджер».
→ «Симулятор управления продуктом на основе данных».
→ «Симулятор управления ростом продукта».
→ «Симулятор SQL для продуктовой аналитики»
→ «Симулятор управления ML/AI-проектами».
→ Не знаете с чего начать? Пройдите бесплатный тест для оценки навыков управления продуктом и подпишитесь на телеграм-канал .
Разница между гипотезой и фактом
Когда команда работает над новым продуктом, обычно первоначальные представления о рынке и потребностях пользователей очень похожи на идею о том, что Земля стоит на черепахе. Иными словами, они далеки от реальности.
Постепенно команда начинает лучше понимать пользователей и рынок, получает новую информацию и на основе этого дополняет свою продуктовую концепцию. Процесс очень похож на то, как со временем эволюционировали представления человечества о Земле.
Как дети постепенно познают окружающий мир, так и продуктовые команды пробуют множество вещей, постепенно обретая новую информацию. Сначала они делают предположения о том, как что-то работает, а затем получают фактические результаты.
Понимать разницу между гипотезой и фактом — один из важнейших навыков в продакт-менеджменте.
Если в работе над продуктом вы отталкиваетесь от непроверенной гипотезы, то ваши планы и результаты находятся в зоне риска. Непроверенные гипотезы, ошибочно принимаемые за факты, могут быть чрезвычайно опасны, особенно если лежат в основе представлений о продукте. Например, если вы не протестируете ценностное предложение вашего продукта, вы рискуете всем: деньгами, временем, людьми и репутацией.
Создание нового продукта — рискованное занятие. Именно поэтому продуктовая команда должна проверять все гипотезы на соответствие реальности и как можно раньше нивелировать риски. Сделайте все правильно — и ваша уверенность в продукте будет расти.
Проверяйте гипотезы, лежащие в основе вашего продукта, прежде чем двигаться дальше. Это повысит шансы на успех.
Примеры информации, которую ошибочно воспринимают как факт
Примеры информации, которую часто ошибочно воспринимают как факты:
- Примеры похожих фич в других продуктах.
То, что работает в другом продукте, не обязательно сработает в вашем. - Информация из статьи в блоге.
Вы можете встретить в интернете подобное утверждение: «Добавление эмодзи в пуш-уведомления увеличивает CTR на 53%». Подобные заявления звучат как факты, но в вашем продукте все может сработать совершенно иначе. - Любое заявление, не подкрепленное достоверными данными.
Однако если вам встречается информация, которую вы сочли релевантной, добавьте ее в очередь на эксперименты. Это единственный способ подтвердить или опровергнуть гипотезу.
Эксперименты для изучения продукта
Эксперименты — единственный способ превратить гипотезу в факт. Когда вы работаете над новым продуктом, вы погружаетесь в новый неизведанный мир, с незнакомыми правилами и формулами.
Возможно, в вашей голове есть простая модель, которую вы хотите применить для продукта, но это вряд ли сильно поможет. Чаще всего реальность далека от первоначальных теорий. Таким образом, единственный способ узнать больше — это сформулировать гипотезу, протестировать ее и сделать выводы на основе результатов.
Дизайн эксперимента
Шаг 1
Все эксперименты начинаются с гипотезы. Команда формулирует предположения о желаемом результате.
Шаг 2
Теперь нужно определить способ тестирования гипотезы. Важно понимать, как вы будете проводить эксперимент.
Шаг 3
Затем необходимо отобрать пользователей, которые будут вовлечены в него. Разделите их на две группы: тестовую и контрольную. Пользователи в первой категории получат экспериментальную версию продукта, а пользователи второй — обычную. Удостоверьтесь, что распределение пользователей является случайным.
Шаг 4
Наконец, определите метрики, через которые вы будете измерять результаты изменений. Когда эксперимент завершен, вам также предстоит разобраться в причинах влияния изменений на метрики.
Концепция гипотезы должна быть тщательно продумана в самом начале. Это полезно для оценки ожидаемого эффекта эксперимента. Вам также необходимо определить ожидаемую скорость изменения для порога успеха. Например, если изменение в метрике X составляет менее N%, то эксперимент считается неудачным и фичу добавлять не стоит.
При дизайне эксперимента вы можете опираться на список вопросов ниже:
- Какие гипотезы у вас есть? Объясните в теории, как вы намерены достичь желаемого результата.
- Какие фичи в продукте меняются? Объясните, как различаются фичи для тестовой и контрольной группы.
- Какие сегменты пользователей попадут в тест?
- Какие ключевые метрики будут определять результат эксперимента?
- Какая выборка необходима для измерения изменений?
- Определите порядок действий в случае различных результатов эксперимента. Если результат X, то мы делаем A, но если результат Y, то мы делаем B.
Определяем размер выборки пользователей для эксперимента
Чтобы получить статистически значимые результаты, необходимо определиться с размером выборки для проверки гипотезы. Зная размер выборки, вы можете определить время и ресурсы, необходимые для получения надежных результатов. Сделать такую оценку очень важно. Учитывая важность результатов эксперимента на дальнейшие решения, расчеты должны быть очень аккуратными.
Для этого используйте калькулятор .
Чтобы определить размер выборки:
- Введите текущий коэффициент конверсии (baseline conversion rate). Например, 17.4%.
- Введите минимальный значимый эффект (minimum change effect), который хотите увидеть. Например, 17.4% ± 2%.
- Укажите желаемое значение уровня доверия. Например, установим значение 95%.
Уровень доверия в 95% говорит о том, что для 95% выборок пользователей из всех возможных, на основе которых будет рассчитан интервал возможных значений конверсии (доверительный интервал), истинное значение будет содержаться внутри интервала.
Обратите внимание, что в этом калькуляторе вместо уровня доверия мы отталкиваемся от α-параметра со значением разницы между 100% и уровнем доверия, то есть 100 – 95 = 5%.
Теперь вы знаете, как провести эксперимент и почему это важно, чтобы лучше понимать продукт, над которым вы работаете.
