Это перевод эссе Эндрю Чена, которое дает интересный взгляд на то, как можно использовать данные при принятии решений.

Автор выделяет два подхода к использованию данных:

  • Data-driven — подход, в котором основным критерием принятия решения являются результаты измеримого эксперимента;
  • Data-informed — подход, которые подразумевает использование данных лишь как одного из многих факторов при принятии решения.

Далее — текст от лица автора.

data-informed-gray

Ваши данные — это лишь отражение вашего текущего продукта

Численные данные очень могущественны, так как очень конкретны. Для большинства предпринимателей с техническим образованием, эмпирические данные важнее большинства других факторов (опыт, советы консультантов) при принятии решений. И это хорошо.

Но очень просто зайти в этом подходе слишком далеко — и в этом различия между подходами data-informed и data-driven, о которых я впервые услышал в выступлении сотрудника Facebook в 2010.

Важно понимать, что ваши метрики — это отражение вашего продукта на текущий момент. Поэтому данные, которые которые у вас есть, ограничены тем, что вы реализовали, и основываются на поведении ваших нынешних пользователей на вашем имеющемся продукте. Поэтому применить подход data-driven для оценки нового функционала или новой версии продукта с другой целевой аудиторией часто бывает невозможно.

Последовательная работа над продуктом, построенная на основе data-driven подхода (kpi — гипотеза — эксперимент — решение), можт привести к заметным улучшениям, но у такого процесса всегда есть предел. Подход data-driven наиболее подходит для задач оптимизации (или поиска локального максимума), но его недостаточно для решения задачи поиска наибольшего возможного значения функции.

tumblr_l3yuhnAPpJ1qz8ohs

Развитие продукта — сложная задача, не позвольте данным ложно упростить ее

C моей точки зрения, различия этих двух подходов состоят в том, что при подходе data-informed вы понимаете, что имеющиеся у вас данные являются лишь одним из факторов для принятия решений и существует много других не менее важных факторов.

При подходе data-driven вы откидываете все, кроме численных данных. В таком случае вы получаете конкретные объективные цифры, посчитанные на основе вашего продукта, но при всем этом эти данные могут искажать реальную картину мира в контексте более глобальной и масштабной задачи, которую вы пытаетесь решить.

Если полагаться лишь на то, что вы можете измерить прямо сейчас, то вы всегда будет понижать приоритет важных задач, результаты внедрения которых проверить сложно или невозможно.

Как тотальное применение подхода data-driven приводит к спорным решениям

Использовать подход data-driven не оправдано при попытках работать над любыми длинными метриками. Сложно провести эксперимент, который покажет влияние новой, скорее всего, недешевой в разработке функциональности на такие долгоиграющие показатели, как churn rate или Retention. Плюс ко всему стоимость эксперимента увеличивается, так как его длительность составит минимум месяц.

С другой стороны, эксперимент по оптимизации конверсии главной страницы является быстрым, дешевым и легко измеримым. При использовании тотально и повсеместно подхода data-driven «правильнее» будет заняться оптимизацией главной страницы, так как в этом случае решение можно четко обосновать данными, а решение о разработке нового функционала проверить на данных сложно, дорого или иногда почти невозможно.

Но проблема в том, что в конечном итоге долгоиграющие метрики вроде Retention и churn rate являются основополагающими. И отказываться от работы над ними из-за сложности честного измерения и прогнозирования полезности такой работы — большая ошибка.

Используйте данные правильно

Важно понимать суть каждого из подходов и знать, который из них применять к каждой конкретной ситуации. Когда вы работаете над чем-то, то у вас есть примерное видение конечного результата. Используйте данные для того, чтобы корректировать направление движения, и не позволяйте поверхностному дешевому анализу данных оттолкнуть вас от вашей цели.

Основные выводы от GoPractice:

  • применяйте подход data-driven для задач оптимизации;
  • если в определенный момент оптимизационный подход перестал давать плоды или неприменим, то поднимите задачу на более высокий уровень;
  • есть ряд задач высокого уровня, которые невозможно решить используя подход data-driven, — используйте для них подход data-informed (данные становятся лишь одним из факторов среди прочих);
  • прочие факторы могут быть следующими: качественные исследования, инсайты из общения с пользователями, бизнес интересы, стратегические цели, ваша вера и желание сделать мир лучше.