Все материалы подборки
A/B-тесты и эксперименты
Олег Якубенков
Давайте начнем с практической задачи.
Руководство компании хочет инвестировать значительные ресурсы в разработку инфраструктуры, необходимой для увеличения скорости работы приложения. Гипотеза состоит в том, что если продукт будет работать быстрее, то это позитивно повлияет на опыт пользователей и ключевые метрики продукта.
Придумайте эксперимент (A/B-тест) для проверки этой гипотезы.

Олег Якубенков

При дизайне, запуске и анализе A/B тестов можно допустить много ошибок, но одна из них особенно коварна. Речь о «peeking problem» или «проблеме подглядывания», когда решение об изменениях в продукте принимается на основе промежуточных результатов теста.
Эту ошибку допускают и те, у кого много опыта в A/B тестировании и кто понимает, как оценить статистическую значимость наблюдаемых изменений.
В этом материале мы разберем, зачем измерять статистическую значимость и как проблема подглядывания мешает правильному анализу результатов эксперимента.
(далее…)Олег Якубенков
При проведении экспериментов обычно в них добавляют всех активных пользователей, иногда всех новых пользователей, при расчете метрик учитывают все данные с момента старта A/B-теста.
Сегодня поговорим о том, как можно сократить время для получения сигнала о влиянии тестируемого изменения, изменив процесс добавления пользователей в A/B-тест.

Дима Золотухин
Одна из важных составляющих успешных экспериментов в работе над продуктом — отсутствие монополии на формулирование гипотез. Так в создании гипотез, их приоритизации и тестировании участвует вся команда: продакт-менеджеры, аналитики, дизайнеры, UX-исследователи и разработчики.
О том, как благодаря внедрению нового процесса работы с гипотезами для A/B тестирования в

Другие
подборки материалов, которые могут быть вам интересны
- «Продукт должен решать боль и проблему» vs «Продукт должен решать задачу лучше альтернатив»
- Навыки продакт-менеджера. Что и зачем он делает
- Метрики продукта, роста, эффективности и добавочной ценности
- Рычаги влияния на Retention: частота задачи и добавочная ценность
- Как измерить добавочную ценность продукта
- Для достижения product/market fit ваш продукт должен быть в 10 раз лучше альтернатив. Или нет?
- Product/market fit может быть слабым или сильным, может меняться во времени
- Два типа продуктовой работы: создание ценности и донесение ценности
- Growth продакт-менеджер. Чем он отличается от маркетологов и классических продактов
- Когда не надо инвестировать в активацию пользователей в продукте
- Активация пользователей в продукте — один из ключевых рычагов влияния на рост
- Как измерять эффективность активации пользователей. Ошибки при определении метрик активации
- Как меняется “aha moment” и путь к нему в зависимости от юзкейса
- Как определить “aha moment” с помощью качественных и количественных методов анализа
- Как определить необходимые условия для достижения “aha moment”
- Time to value — важный рычаг повышения эффективности активации продукта
- Как Time to value и сложность продукта определяют структуру активации
- Строительные блоки активации на уровне продукта
- Когда и зачем нужно добавлять людей в процесс активации пользователей
- Анализ сессий пользователей — важный инструмент построения активации
- Как построить Customer Journey Map (CJM) в работе над активацией: от знакомства с продуктом до осознания его ценности
- Активация начинается задолго до регистрации в продукте
- Проектирование онбординга и активации в обратном направлении: от ценности к каналам привлечения
- В каких ситуациях пользователи могут воспринять ценность продукта
- Объективная и воспринимаемая ценность продукта при работе над активацией
- Насколько текущий механизм активации подходит нескольким юзкейсам
- Когда имеет смысл инвестировать в оптимизацию онбординга и активации
- Оптимизация активации через снижение сопротивления и повышение мотивации
- Примеры снижения сопротивления и повышения мотивации в онбординге
- Retention rate. Как создавать продукты, формирующие привычки?
- Как считать Retention rate: N-day Retention, Rolling Retention и другие способы расчета Retention
- Долгосрочный Retention — основа устойчивого роста продукта
- Что такое хороший Retention. Бенчмарки Retention для разных типов продуктов
- Ошибки при расчете ROI и юнит-экономики. Влияние моделей атрибуции и инкрементальности на ROI в маркетинге
- Модели атрибуции трафика. Почему модель атрибуции должна изменяться вместе с каналами продвижения, продуктом, маркетинговой задачей и внешней средой
- Способы атрибуции рекламы без явного касания — клика или перехода
- Инкрементальность рекламы. Как оценить истинное влияние рекламных каналов на рост продукта
- Проблемы с инкрементальностью каналов. Типичные ситуации их возникновения и признаки, которые на них указывают
- Как повысить эффективность продуктовых аналитиков в разы
- Customer Development и Custdev. Что это такое и в чем разница?
- Ваша команда не знает ключевых метрик продукта. Почему? Как это исправить?
- Навыки и требования к аналитикам данных на разных уровнях в «Яндексе». Профессия аналитика данных
- Что такое Growth Hacking, или как рост продукта был изобретен заново
- Вопросы на собеседовании продакт-менеджера: шаблон и гайд для кандидатов и работодателей
- Владение SQL — важный навык для продакт-менеджера
- Как мы создавали «Симулятор SQL для продуктовой аналитики»
- Резюме продакт-менеджера: как его правильно составить
- Что читать продакт-менеджеру в 2023 году: рекомендации сообщества GoPractice
- Как формируется привычка использовать продукт и какую роль в этом играет дофамин
- Hook: как формировать привычку к продукту и улучшать его Retention
- Не все продукты могут формировать привычку, но у каждого могут быть лояльные пользователи
- Гонка Slack, Microsoft Teams и Workplace: одна интрига умерла, новая зародилась
- Slack vs Microsoft Teams в период массового перехода на удаленную работу. Это последний шанс Slack побороться за лидерство на рынке?
- Revolut Trading: история создания и запуска. О важности отраслевой экспертизы и балансе консервативных подходов с новыми
- Ценности и принципы Wise. Краткий пересказ эпизода подкаста Шона Эллиса Breakout Growth
- Как построить механизм поиска и усиления product/market fit. История Superhuman
- Истории поиска product/market fit от основателей Netflix, Uber, Airbnb и других успешных компаний
- «Делайте то, что не масштабируется». И обязательно прочитайте эту статью
- Когортный анализ. Метрики продукта vs метрики роста
- Как узнать доходы, скачивания, источники трафика и аудиторию мобильного приложения конкурента?
- Улучшаем метрики продукта: почему пользователи уходят vs почему пользователи остаются
- Product/market fit. Что это такое? Как его измерить с помощью метрик?
- Построение прогноза аудитории и дохода с помощью когортного анализа в Excel/Google Sheets
- Когда стоит игнорировать негативную обратную связь от пользователей
- Причинно-следственная связь и корреляция: в чем разница и почему ее важно понимать в работе над продуктом
- Что такое хорошая конверсия в активацию. Бенчмарки и советы на основе более 500 продуктов
- Как подготовить и провести глубинное интервью. Гайд и шаблоны для JTBD-исследования
- Расчет LTV. Как надо и не надо считать Lifetime Value
- Метрика ARPU. Как ее считать, чем она отличается от LTV, почему может ввести в заблуждение
- Юнит-экономика — это просто. Объясняем в 30 словах
- Ухудшающие A/B-тесты — самый недооцененный инструмент менеджера продукта
- Как не надо анализировать A/B-тесты. Проблема подглядывания
- Почему ваши A/B-тесты требуют больше времени, чем могли бы
- Как в Flo повысили долю успешных A/B-тестов на 30% через внедрение нового процесса работы с гипотезами
- Как запустить маркетплейс. Проблема курицы и яйца
- Спрос или предложение. Руководство по запуску маркетплейса с нуля
- Привлечение первоначального предложения для маркетплейса. Руководство по запуску маркетплейса
- Привлечение первоначального спроса на маркетплейс. Руководство по запуску маркетплейса
- Что не сработало при привлечении спроса на запуске маркетплейса с нуля
- Масштабирование маркетплейса. Как определить, ограничены вы предложением или спросом
- Ускорение роста на этапе масштабирования маркетплейса
- Поддержание качества на этапе масштабирования маркетплейса
- Что вы сделали бы по-другому, если бы могли начать сначала? Масштабирование маркетплейсов