Все материалы подборки
A/B-тесты и эксперименты

Как правильно проводить A/B-тесты и эксперименты. Чем опасна проблема подглядывания и каких ошибок стоит избегать при проведении тестов.
Автор:
Олег Якубенков
Ухудшающие A/B-тесты — самый недооцененный инструмент менеджера продукта

Давайте начнем с практической задачи.

Руководство компании хочет инвестировать значительные ресурсы в разработку инфраструктуры, необходимой для увеличения скорости работы приложения. Гипотеза состоит в том, что если продукт будет работать быстрее, то это позитивно повлияет на опыт пользователей и ключевые метрики продукта.

Придумайте эксперимент (A/B-тест) для проверки этой гипотезы.

Ухудшающие A/B-тесты — cамый недооцененный инструмент менеджера продукта
(далее…)
Автор:
Олег Якубенков
Как не надо анализировать A/B-тесты. Проблема подглядывания

При дизайне, запуске и анализе A/B тестов можно допустить много ошибок, но одна из них особенно коварна. Речь о «peeking problem» или «проблеме подглядывания», когда решение об изменениях в продукте принимается на основе промежуточных результатов теста.

Эту ошибку допускают и те, у кого много опыта в A/B тестировании и кто понимает, как оценить статистическую значимость наблюдаемых изменений.

В этом материале мы разберем, зачем измерять статистическую значимость и как проблема подглядывания мешает правильному анализу результатов эксперимента.

Как не надо анализировать A/B-тесты. Проблема подглядывания
(далее…)
Автор:
Олег Якубенков
Почему ваши A/B-тесты требуют больше времени, чем могли бы

При проведении экспериментов обычно в них добавляют всех активных пользователей, иногда всех новых пользователей, при расчете метрик учитывают все данные с момента старта A/B-теста.

Сегодня поговорим о том, как можно сократить время для получения сигнала о влиянии тестируемого изменения, изменив процесс добавления пользователей в A/B-тест.

Почему ваши A/B-тесты требуют больше времени, чем могли бы
(далее…)
Автор:
Дима Золотухин
Как в Flo повысили долю успешных A/B-тестов на 30% через внедрение нового процесса работы с гипотезами

Одна из важных составляющих успешных экспериментов в работе над продуктом — отсутствие монополии на формулирование гипотез. Так в создании гипотез, их приоритизации и тестировании участвует вся команда: продакт-менеджеры, аналитики, дизайнеры, UX-исследователи и разработчики.

О том, как благодаря внедрению нового процесса работы с гипотезами для A/B тестирования в Flo (лидер среди приложений в сфере женского здоровья) удалось увеличить долю успешных экспериментов на 30%, рассказывает Head of Analytics Flo Дима Золотухин в своем материале для GoPractice.

Как в Flo повысили долю успешных A/B-тестов на 30% через внедрение нового процесса работы с гипотезами
(далее…)