Все лучшие эссе

Как не надо анализировать A/B тесты. Проблема подглядывания

При дизайне, запуске и анализе A/B тестов можно допустить много ошибок, но одна из них особенно коварна. Эта ошибка – побочный эффект проверки результатов A/B теста c готовностью действовать на их основе до его окончания. Ее называют «Peeking problem» или «Проблема подглядывания».

Интересная особенность этой ошибки в том, что ее допускают те, кто уже достаточно далеко ушел в изучении науки A/B тестирования, например, научился считать, является ли наблюдаемая разница статистически значимой или нет.

Если вы хотите научиться управлять продуктом на основе аналитики и данных, то Симулятор (образовательный продукт от Go Practice) вам в этом поможет.

Как не надо анализировать A/B тесты. Проблема подглядывания

Читать далее →

Ухудшающие A/B тесты – cамый недооцененный инструмент менеджера продукта

Давайте начнем с практической задачи.

Руководство компании хочет инвестировать значительные ресурсы в разработку инфраструктуры, необходимой для увеличение скорости работы приложения. Гипотеза состоит в том, что если продукт будет работать быстрее, то это позитивно повлияет на опыт пользователей и их ключевые метрики.

Придумайте эксперимент (A/B тест) для проверки этой гипотезы.

Ухудшающие A/B тесты - инструмент продакт менеджер

Читать далее →

Как узнать доходы, скачивания, источники трафика и аудиторию мобильного приложения конкурента?

Меня часто спрашивают о том, как можно узнать, сколько скачиваний у мобильного приложения конкурента, как оно привлекает пользователей, какая у него аудитория, сколько оно зарабатывает?

Узнать показатели мобильного приложения конкурента часто полезно и почти всегда просто интересно. Сегодня я расскажу про сервисы, которые помогут вам это сделать.

В качестве бонуса в конце статьи с помощью этих сервисов мы развенчаем популярный сейчас миф о том, что у Telegram 100 млн активных пользователей в месяц.

скачивания доходы аудитория источники трафика мобильных приложений конкурентов

Читать далее →

Аналитика без цифр. Смотрим на продукт глазами пользователей

1. Для сокращения полной неопределенности требуется очень много данных.

2. Люди, работающие над продуктами, хорошо понимают и знают своих пользователей.

Приведенные выше утверждения — это заблуждения, а значит обратные им — истина. Сегодня мы поговорим о том, как обратное утверждение для первого заблуждения способно помочь исправить неприятную истину, выходящую из заблуждения номер два.

разбор сессий пользователей

Читать далее →

Почему «нет» — ключевое слово при создании продукта?

Продукты раздуваются и теряют фокус не за один релиз. Это происходит постепенно. Ленивое неудачное решение, продуктовый костыль из-за горящих сроков, неубитая фича, которая не полетела, фича для крупного клиента, которая больше никому не нужна. И вот ваш еще недавно красивый простой и понятный продукт превратился в нечто массивное сложное и неуправляемое…

no нет в создании продуктов

Читать далее →

Рассказ про King of Thieves на ProductCamp

В мае я выступал на конференции ProductCamp (одной из моих любимых конференций), которую организует Миша Карпов.

Рассказал про то, как мы делали King of Thieves:

  • как игра была придумана
  • какие плохие результаты мы получили после первого запуска
  • как мы улучшили LTV в 26 раз за время софт лонча

PS На этом посте серия материалов про King of Thieves заканчивается:)

 

 

Презентация

Уроки по пути из аналитика в продакт менеджеры (часть 1)

Когда я работал в Яндексе, то я был аналитиком. Ко мне приходили с вопросами, я искал на них ответы с помощью данных, а потом делился результатами с командой. При этом я не имел особого влияния на продукт, я не принимал решения, лишь давал советы.

После прихода в Zeptolab моя деятельность изменилась достаточно сильно. Теперь я не только работал с данными, но и влиял на продукты. Спустя некоторое время я начал работать над новой для компании игрой в роли продакт менеджера. Это была мобильная игра King of Thieves, которую в феврале 2015 года мы запустили на весь мир.

На сегодняшний день прошло почти два года, на протяжении которых я совмещаю продуктовую и аналитическую деятельность, так что пора подвести промежуточные итоги и сформулировать, чему я научился за это время.

Каждую неделю я стараюсь выделять время, чтобы обдумать то, что делал, что сделал и что узнал. По итогам я делаю небольшие заметки с наблюдениями. Эта статья — это обработанные мои заметки за прошлые два года.

Вторая часть статьи.

Также призываю вас поделиться своим опытом в комментариях.

продакт менеджер King of Thieves

Читать далее →

Retention rate. Как создавать продукты, формирующие привычки?

Retention rate — одна из ключевых метрик любого продукта. Почему какие-то продукты мы используем годами, а про какие-то забываем спустя несколько дней? Как добиться высокого Retention? Какие значения метрики Retention хорошие, а какие плохие?

Недавно я прочитал книгу Нира Эйаля «Hooked: How to Build Habit-Forming Products». В книге есть очень интересные идеи и приглянувшийся мне фреймворк, которые позволяют шире посмотреть на вопросы создания продуктов, а также факторы, влияющие на Retention. Именно о них сегодня и пойдет речь.

Retention rate - ключевая метрика продукта бизнеса

Читать далее →

Настройка аналитики мобильного приложения. Создание структуры ивентов для аналитики приложения.

Фундаментом аналитики является сбор данных. Настройка аналитики мобильного приложения включает в себя интеграцию SDK системы аналитики в мобильное приложение, проектирование структуры ивентов и их расстановку внутри приложения. Неправильно настроенный сбор данных для аналитики оставит вас без приборов в работе с вашим продуктом, либо же обеспечит неверными данными, что, с моей точки зрения, еще хуже, чем отсутствие данных.

В этой статье я расскажу о том:

  • Какие ошибки часто допускают при настройке аналитики мобильных приложений
  • Как я обычно подхожу к процессу встраивания аналитики в мобильное приложение
  • Также я поделюсь некоторыми хаками и секретами, которые позволят вам эффективнее использовать ваши данные

Настройка аналитики мобильного приложения

Читать далее →

Когортный анализ. Метрики продукта vs метрики роста

Когортный анализ — это очень эффективный инструмент продуктовой и маркетинговой аналитики. К сожалению, о нем немногие знают, а те кто знают, крайне редко его используют.

Из статьи вы узнаете:

  • в чем состоит суть когортного анализа
  • чем метрики роста отличаются от метрик продукта
  • почему попытки построить продуктовую аналитику, основываясь на метриках роста, заканчиваются плачевно
  • как я использую когортный анализ в маркетинге и в продуктовой аналитике
  • за какими метриками продукта необходимо следить и почему

когортный анализ

Читать далее →