Всё по теме: A/B тесты (эксперименты)

Почему ваши A/B тесты требуют больше времени, чем могли бы

При проведении экспериментов обычно в них добавляют всех активных пользователей, иногда всех новых пользователей. А при расчете метрик учитывают все данные с момента старта A/B теста.

Сегодня поговорим о том, как изменив процесс добавления пользователей в A/B тест, можно сократить время, необходимое для получения сигнала о влиянии тестируемого изменения.

Если вы хотите научиться управлять продуктом на основе аналитики и данных, то Симулятор (новый образовательный продукт от Go Practice) вам в этом поможет.

Каких пользователей и когда добавлять в A/B тест, чтобы быстрее получить сигнал

Читать далее →

Как не надо анализировать A/B тесты. Проблема подглядывания

При дизайне, запуске и анализе A/B тестов можно допустить много ошибок, но одна из них особенно коварна. Эта ошибка – побочный эффект проверки результатов A/B теста c готовностью действовать на их основе до его окончания. Ее называют «Peeking problem» или «Проблема подглядывания».

Интересная особенность этой ошибки в том, что ее допускают те, кто уже достаточно далеко ушел в изучении науки A/B тестирования, например, научился считать, является ли наблюдаемая разница статистически значимой или нет.

Если вы хотите научиться управлять продуктом на основе аналитики и данных, то Симулятор (образовательный продукт от Go Practice) вам в этом поможет.

Как не надо анализировать A/B тесты. Проблема подглядывания

Читать далее →

Ухудшающие A/B тесты – cамый недооцененный инструмент менеджера продукта

Давайте начнем с практической задачи.

Руководство компании хочет инвестировать значительные ресурсы в разработку инфраструктуры, необходимой для увеличение скорости работы приложения. Гипотеза состоит в том, что если продукт будет работать быстрее, то это позитивно повлияет на опыт пользователей и их ключевые метрики.

Придумайте эксперимент (A/B тест) для проверки этой гипотезы.

Ухудшающие A/B тесты - инструмент продакт менеджер

Читать далее →

Как просто реализовать А/Б тестирование в мобильном приложении?

Длительное время необходимое на выпуск новой версии мобильного приложения сильно усложняет задачи экспериментировать, пробовать что-то новое или оптимизировать ряд заранее неизвестных переменных в вашем приложении (например, баланс в игре). В отличии от веба, где изменения выкатываются в считанные секунды, в случае с мобильными приложениями вам необходимо пройти длительный цикл от сабмита в стор, до момента пока ваши ваши пользователи обновяться до новой версии.

Описанную проблему решает возможность А/Б тестирования в вашем мобильном приложении. Для А/Б тестирования существуют специальные сервисы (Swrve, Arise и другие), но они стоят немалых денег и требуют времени для добавления их SDK, настройки и изучения.

Я хочу рассказать о простом способе, как можно реализовать А/Б тестирование в вашем мобильном приложении (а заодно и возможность настраивать ваше приложение под определенные группы пользователей), всего за несколько часов без денежных затрат и необходимости вкручивать сторонние SDK.

А/Б тестирование мобильных приложений

 

Читать далее →