Что такое A/B-тесты: гайд для продакт-менеджера

Продуктовые решения можно принимать и без A/B-тестов — на основе интуиции, экспертной оценки, рыночных трендов, успешных кейсов конкурентов или мнения ключевых стейкхолдеров. Это не всегда срабатывает, но даже если срабатывает, то мы не всегда можем достоверно понять почему.

A/B-тесты позволяют решить эту проблему и достоверно узнать о причине изменений.

Кроме того, A/B-тесты позволяют не менять весь продукт, а ставить эксперимент на небольшом его кусочке, чтобы точно атрибутировать влияние конкретных изменений.

Таким образом, A/B-тестирование помогает опираться не на догадки, а на факты — и принимать обоснованные решения.

Что A/B-тесты дают продуктовой команде и бизнесу

• Снижают риски и ошибки
  
  Позволяют проверить гипотезы на небольшой выборке пользователей перед масштабным внедрением, минимизируя вероятность негативного влияния на бизнес.
  
• Оптимизируют пользовательский опыт
  
  Помогают определить, какие изменения делают продукт удобнее (изменение интерфейса, кнопок, форм, контента).
  
• Помогают находить работающие решения для роста метрик
  
  Команды могут увеличить конверсию, средний чек, Retention и другие ключевые показатели — не вслепую, а на основе подтвержденного эффекта.
  
• Улучшают продукт пошагово и осознанно
  
  Кумулятивный эффект небольших изменений и улучшений в совокупности дает заметный позитивный эффект.
  
• Экономят время и ресурсы
  
  Вместо долгой разработки функциональности, которая может «не взлететь», вы сначала проверяете идею на практике. Это особенно ценно в условиях ограниченного бюджета и перегруженных команд.
  
• Строят продуктовую культуру
  
  Команды, которые регулярно проводят эксперименты, учатся мыслить гипотезами, аргументировать решения и не бояться ошибаться — потому что у них есть способ это проверить.
  

Компании вроде Google, Amazon, Netflix и Booking.com проводят тысячи A/B-экспериментов в год, проверяя даже мельчайшие изменения. Для них эксперименты — неотъемлемая часть продуктовой культуры.

Другие виды тестов

A/B-тестирование — самый распространенный метод, но существуют и другие способы 

• A/A-тест — обе группы получают одинаковые версии продукта, чтобы проверить, правильно ли работает система. Если при сравнении двух идентичных версий обнаруживаются значимые различия в поведении пользователей, это может указывать на проблемы в данных, в продукте, в формировании групп пользователей или других аспектах процесса. Проведение A/A-тестов помогает выявить и устранить такие ошибки до начала A/B-тестирования, обеспечивая достоверность последующих экспериментов.
• A/A/B-тест — это разновидность A/B-теста, в которой есть две контрольные группы (A и A) и одна тестовая (B). Это позволяет проверить корректность тестовой системы: если результаты между двумя «A» заметно различаются, значит, в тесте могут быть ошибки или искажения.
• Switchback-эксперименты — разновидность тестов, при которых разные версии продукта чередуются во времени или по локациям. Например, в один день ряд пользователей получает одну версию продукта, в другой день — другую. Такой подход необходим в тех продуктах, в которых велика вероятность влияния пользователей друг на друга, например в социальных продуктах или продуктах с сетевыми эффектами. Switchback-эксперименты помогают минимизировать подобные вероятности и сохранить корректность сравнения версий.
• Многофакторное тестирование (MVT, Multivariate Testing) — в одном тесте меняются несколько элементов сразу (например, цвет кнопки и текст), чтобы выяснить, какое сочетание работает лучше всего. Однако для получения статистически значимых результатов MVT требует существенного количества пользователей, поскольку количество тестируемых комбинаций возрастает с каждым добавленным элементом.

Далее мы сконцентрируемся на обсуждении A/B-тестов. Если вам интересно узнать больше про другие виды тестирования, вам это дастся гораздо легче, после того как вы разберетесь в классических AB-тестах с помощью этого гайда.

Как проводить A/B-тесты: пошаговая инструкция

A/B-тестирование, как и научный эксперимент, требует четкой формулировки гипотез, продуманного дизайна, аккуратного проведения и корректной интерпретации результатов.

Перед тем как перейти к пошаговой инструкции по проведению A/B-тестирования, важно ознакомиться с ключевыми понятиями, которые будут использоваться в процессе:​

Контрольная и экспериментальная группы

В A/B-тестировании пользователи делятся на две группы:​

• Контрольная группа (A): получает текущую версию продукта или функции.
• Тестовая группа (B): получает измененную версию, которую необходимо оценить. Сравнение результатов этих групп позволяет определить влияние внесенных изменений.​

Важно:

— Участники каждой группы не должны пересекаться, чтобы результаты были чистыми и не искаженными, и группы должны быть частью одного сегмента, решающего одну задачу в продукте.

— Пользователи должны распределяться между контрольной и экспериментальной группами случайным образом.

Определение метрик успеха

Перед началом теста необходимо четко определить, какие показатели (метрики) будут оцениваться для измерения эффективности изменений. Это могут быть:​

• Конверсия: процент пользователей, совершивших целевое действие (например, покупку).
• Вовлеченность: время, проведенное на сайте, количество просмотренных страниц.
• Retention: доля пользователей, возвращающихся к продукту через определенный период.

Это лишь частные примеры популярных метрик: в вашем случае метрика может быть практически любой.

P-value (уровень значимости):

Статистический показатель, который помогает определить, являются ли наблюдаемые различия между группами случайными или значимыми. Низкое значение p-value (обычно менее 0.05) указывает на то, что различия статистически значимы и с малой вероятностью обусловлены случайностью.​

Шаг первый: определение предмета и целей тестирования

В реальности можно анализировать любые показатели — главное, чтобы они были релевантны конкретной задаче. Например, для тестов рекомендаций будет актуальна доля переходов по товарам, для экспериментов в мобильном банке — скорость выполнения целевого действия, для медиа — дочитывание контента и т.п.

Важно! в A/B-тестах необходимо изменять только один параметр за раз, чтобы точно определить, какое именно изменение повлияло на результат. При этом опыт взаимодействия для обеих групп должен быть идентичным во всех остальных аспектах.

Перед запуском A/B-теста важно четко сформулировать гипотезу в формате:

Если мы изменим [конкретный элемент], то это приведет к улучшению [метрики] на X%.

Пример:

• «Обновим дизайн страницы оплаты» — слишком размытая гипотеза.
• «Если мы изменим цвет кнопки «Купить» с серого на оранжевый, это увеличит конверсию в покупку на 5%» — более конкретная и измеримая гипотеза.

На какие метрики можно повлиять, проверяя изменения в рамках A/B-тестов

• Конверсия (например, процент пользователей, оформивших заказ).
• Клики (на кнопку, ссылку, рекламный баннер).
• Вовлеченность (время на сайте, количество просмотренных страниц).
• Retention (сколько людей вернулось через N дней).

Эти метрики приведены для иллюстрации вышеописанной гипотезы.

Шаг второй: выбор инструмента

Для проведения A/B-теста вам потребуются специальные инструменты. Их выбор зависит от ряда факторов, среди которых технические возможности команды, платформа, бюджет и размер компании, цели тестирования и возможности интеграции с текущими системами.

Все это нужно будет учесть, а мы вам ниже предлагаем ряд распространенных решений (полный список ими не исчерпывается):

Для веб-страниц

Название	Веб-сайт	Комментарий
Optimizely	optimizely.com	Один из самых мощных инструментов для клиентских и серверных A/B-тестов.
VWO	vwo.com	Визуальный редактор, аналитика, тепловые карты и многое другое в одном интерфейсе.
Zoho PageSense	zoho.com/pagesense/	Доступное решение для малого и среднего бизнеса с широким функционалом.
Crazy Egg	crazyegg.com	Подходит для малого бизнеса, есть тепловые карты и простые тесты.
Unbounce	unbounce.com	Создание и тестирование лендингов без кода, отлично для маркетологов.
Convertize	convertize.com	Интуитивный визуальный редактор, удобен для маркетинговых команд.
Adobe Target	adobe.com/target	Корпоративное решение с мощной системой персонализации и AI-оптимизацией.
Kameleoon	kameleoon.com	Продвинутая система A/B и мультивариантного тестирования для крупных проектов.
SiteSpect	sitespect.com	Тестирование без JavaScript — подходит для высоконагруженных сайтов, доступ через сервер.

Для мобильных приложений

Название	Веб-сайт	Комментарий
Firebase A/B Testing	firebase.google.com	Бесплатный инструмент от Google, легко интегрируется с другими Firebase-сервисами.
Apptimize	apptimize.com	Поддерживает как визуальные, так и серверные тесты, в том числе фиче-флаги.
UXCam	uxcam.com	Визуальная аналитика, тепловые карты, запись сессий и A/B-эксперименты.
Split.io	split.io	Инструмент серверного тестирования с фокусом на инженерные команды.
LaunchDarkly	launchdarkly.com	A/B-эксперименты на основе фиче-флагов, подходит для крупных мобильных продуктов.
Leanplum	leanplum.com	Комбинация A/B-тестов и маркетинговых коммуникаций, включая push-уведомления.
Taplytics	taplytics.com	Полноценная платформа для роста: A/B-тесты, аналитика, фиче-флаги.
Mixpanel	mixpanel.com	Основной фокус — поведенческая аналитика, но есть базовые возможности для экспериментов.
Kameleoon Mobile	kameleoon.com	Решение для нативных приложений с полной интеграцией с основной платформой.

Помните, что многие инструменты предлагают бесплатные пробные периоды, что позволяет оценить их функциональность перед покупкой.​ Но будьте внимательны и ознакомьтесь с условиями конкретного сервиса: некоторые из них могут обязать приобрести подписку для доступа к результатам.

Также учитывайте, что в компании с устоявшимся продуктом уже наверняка будут свои используемые инструменты, так что этот шаг в большей степени релевантен для новых продуктов.

Шаг третий: дизайн эксперимента

Когда гипотеза и метрики уже определены, переходим к технической части дизайна. 

1. Для начала стоит определить параметры теста:

— Решаем, насколько заметной должна быть разница между группами, чтобы мы сочли ее важной (это называется минимально значимый эффект, MDE).

— Определяем, насколько мы готовы ошибиться, если примем случайный результат за настоящий (уровень значимости, α), и насколько хотим быть уверены, что не пропустим реальный эффект (мощность теста, 1 – β). Эти параметры влияют на то, сколько пользователей нужно, чтобы тест дал надежный результат.

2. Затем нужно выбрать статистический критерий, с помощью которого будем сравнивать группы (например, т-тест).
3. Рассчитываем размер выборки — сколько пользователей нужно, чтобы заметить разницу, если она есть. Удобный калькулятор: Evan Miller’s Sample Size Calculator.
4. Настраиваем рандомизацию — пользователи случайным образом делятся на контрольную и тестовую группы, обычно поровну (50/50), чтобы избежать перекосов в результатах.

Шаг четвертый: проведение эксперимента и важные аспекты процесса

Фиксированный период тестирования

Заранее определите продолжительность эксперимента, основываясь на расчете необходимого объема выборки для достижения статистической значимости.​ Избегайте изменения сроков теста в процессе его проведения, чтобы не исказить результаты.

Как долго следует проводить тест?

Длительность A/B-теста зависит от нескольких факторов

• Размер выборки: Чтобы тест дал надежный результат, нужно заранее рассчитать, сколько данных нужно собрать. Это зависит от того, какую разницу между группами мы хотим заметить и с какой точностью.
• Сезонность и цикличность: Рекомендуется, чтобы продолжительность теста охватывала полный цикл пользовательской активности (например, неделю), чтобы нивелировать влияние дневных и недельных колебаний.​
• Рекомендации платформ: Например, Facebook советует проводить тесты не менее 7 дней, но не дольше 30 дней, чтобы собрать достаточное количество информации.

Проблема «подглядывания» (peeking)

Подглядывание — это преждевременный анализ промежуточных результатов до завершения теста.​ Такое поведение увеличивает вероятность ошибки первого рода (ложноположительный результат), что может привести к принятию неверных решений.​ Подробнее проблему «подглядывания» мы обсудим дальше.

Мониторинг технических показателей

Следите за корректностью работы тестируемых версий продукта, чтобы исключить влияние технических сбоев на результаты.​ Убедитесь, что пользователи равномерно распределены между контрольной и экспериментальной группами.​

Шаг пятый: анализ результатов

Проверяем статистическую значимость 

При проведении A/B-тестов важно понимать, что не каждое наблюдаемое различие между вариантами является значимым. Иногда различия могут быть обусловлены случайностью, а не реальным эффектом изменений.Поэтому необходимо оценивать статистическую значимость результатов, чтобы убедиться, что выявленные эффекты действительно связаны с внесенными изменениями.

Как проверить статистическую значимость?

Существует множество онлайн-инструментов, позволяющих быстро и просто оценить статистическую значимость результатов A/B-тестов, например:

— Калькулятор статистической значимости от SurveyMonkey: позволяет определить, являются ли различия между вариантами статистически значимыми. ​

— Калькулятор достоверности A/B-тестирования от Яндекс.Директ: предназначен для оценки эффективности различных рекламных стратегий. ​

Многие платформы для проведения A/B-тестов также имеют встроенные инструменты для оценки статистической значимости, что упрощает процесс анализа результатов.

Для тех, кто хочет разобраться в математике процесса

Если вы стремитесь глубже понять статистические методы, используемые при анализе A/B-тестов, рекомендуется глубже ознакомиться с концепцией p-значения (p-value). P-value показывает вероятность того, что наблюдаемые различия между группами возникли случайно. 

p-value — это показатель в статистике, который помогает определить, насколько результаты эксперимента соответствуют нулевой гипотезе. Нулевая гипотеза предполагает отсутствие эффекта или различий между сравниваемыми группами. P-значение показывает вероятность получения таких или более экстремальных результатов при условии, что нулевая гипотеза верна.

Формула для расчета p-значения зависит от выбранного статистического теста и распределения данных. В общем случае, p-значение вычисляется как площадь под кривой плотности вероятности распределения статистики теста, начиная от наблюдаемого значения и далее в сторону более экстремальных значений. Чем больше эта площадь, тем выше p-значение и тем менее значимы результаты теста.

Обычно пороговое значение p-value устанавливается на уровне 0,05. Это означает, что если p-value меньше 0,05, различия считаются статистически значимыми.

Предположим, мы тестируем новую версию веб-страницы и хотим узнать, влияет ли она на конверсию по сравнению с текущей версией. Нулевая гипотеза утверждает, что разницы в конверсии нет. После проведения теста мы получаем p-значение 0,03. Это означает, что вероятность получить такие или более экстремальные результаты при условии отсутствия реального эффекта составляет 3%.

Важно помнить:

• P-значение не показывает размер эффекта, а лишь вероятность его наличия.​
• Низкое p-значение указывает на малую вероятность случайного получения таких результатов, но не гарантирует практическую значимость эффекта.​
• Высокое p-значение свидетельствует о том, что наблюдаемые различия могли возникнуть случайно, но не доказывает отсутствие эффекта.

Для более глубокого понимания темы можно обратиться к следующим ресурсам:​

Статья «Объясняем p-значения для начинающих Data Scientist’ов» на Habr: подробно рассматривает концепцию p-value и ее применение в статистике. 

Статья «Самое понятное объяснение p-value»: наглядно объясняет суть p-значения и его использование в статистических тестах.​

Оцениваем влияние посторонних факторов 

При проведении A/B-тестирования важно учитывать влияние внешних факторов, таких как сезонность, рекламные или пиар-кампании продукта, общий новостной фон. Однако, если тест проводится с двумя равными когортами в идентичных условиях, эти факторы не должны существенно искажать результаты, поскольку обе группы испытывают одинаковый опыт. Тем не менее, необходимо быть внимательными к параллельным изменениям в продукте или маркетинговой стратегии во время теста, так как они могут повлиять на поведение всех пользователей и исказить результаты эксперимента.

Доверительные интервалы 

Определяют диапазон, в котором с заданной вероятностью (обычно 95%) находится истинное значение параметра.

Допустим, A/B-тест показал конверсию 5% ± 1% (95% CI: 4%–6%). Это значит, что в 95% случаев полученный доверительный интервал покрывал бы реальное значение конверсии. Или сигнализировал о 95-процентной вероятности, что наш ДИ покрыл реальную конверсию.

Если доверительный интервал для разницы между вариантами не включает ноль, это свидетельствует о статистически значимом эффекте.

Работа с шумом в данных и ложноположительными результатами

Шум в данных (то есть случайные колебания или ошибки, которые не связаны с реальными изменениями в продукте, но могут повлиять на результаты теста) и ложноположительные результаты могут исказить интерпретацию теста:​

• Коррекция на множественные сравнения: При проведении нескольких одновременных тестов возрастает риск ложноположительных результатов; методы коррекции, такие как поправка Бонферрони, помогают контролировать этот риск.​
• Проведение A/A-тестов: Тестирование двух идентичных вариантов позволяет оценить уровень шума в системе и установить базовый уровень ложноположительных срабатываний.

Шаг шестой: принятие решений

Результаты A/B-тестов предоставляют ценную информацию для принятия решений, однако они не являются прямым указанием к действию. Даже при получении статистически значимого положительного эффекта следует учитывать контекст и другие факторы, прежде чем внедрять изменения. Возможные варианты помимо внедрения после теста включают:​

• Анализ и корректировка гипотезы: Если результаты не соответствуют ожиданиям, пересмотр предположений и поиск альтернативных решений.​
• Отказ от внедрения: В случаях, когда потенциальная выгода от изменений не оправдывает затраты или риски, разумно отказаться от их реализации.
• Ограниченное внедрение (rollout): Даже при положительных результатах может быть полезно сначала внедрить изменение на небольшой доле пользователей, чтобы оценить его устойчивость в реальных условиях.
• Анализ побочных эффектов: Изменение может положительно повлиять на основную метрику, но ухудшить другие. Прежде чем внедрять, важно проверить, не страдают ли второстепенные метрики или пользовательский опыт.

Примеры улучшений продукта после проведения A/B-тестов

Кейс 1: Оптимизация обложек фильмов на Netflix

Проблема: Пользователи Netflix часто принимали решение о просмотре контента на основе обложек фильмов и сериалов. Стандартные обложки не всегда эффективно привлекали внимание и мотивировали к просмотру.​

Гипотеза: Персонализация обложек в зависимости от предпочтений пользователя увеличит вовлеченность и общее время в продукте на 5%.

Тестирование: Netflix разработал систему, которая автоматически выбирала обложки, наиболее соответствующие интересам каждого пользователя. Например, если пользователь часто смотрел комедии, ему показывали обложки с комедийными элементами.

Результат: Персонализированные обложки привели к значительному увеличению кликов и времени просмотра контента. ​

Кейс 2: Улучшение рекомендаций на Amazon

Проблема: Система рекомендаций Amazon не всегда предлагала пользователям релевантные товары, что снижало конверсию и удовлетворенность клиентов.​

Гипотеза: Внедрение новой модели машинного обучения для персонализации рекомендаций повысит точность предложений и увеличит продажи.​

Тестирование: Amazon провел A/B-тестирование, сравнивая текущую систему рекомендаций с новой моделью. Пользователи случайным образом разделялись на две группы: одна получала рекомендации от старой системы, другая — от новой.​

Результат: Новая модель показала увеличение кликабельности рекомендаций и повышение конверсии, что подтвердило ее эффективность. В результате Amazon внедрил обновленную систему персонализации для всех пользователей. ​

Кейс 3: Оптимизация целевой страницы Spotify

Проблема: Spotify стремился увеличить количество подписок на премиум-аккаунт, предоставляя более релевантный контент для пользователей, пришедших по определенным поисковым запросам.​

Гипотеза: Создание кастомизированных целевых страниц, соответствующих конкретным интересам пользователей, повысит конверсию в премиум-подписки.​

Тестирование: Spotify провел эксперимент, нацеленный на пользователей в Германии, которые искали «аудиокниги» и переходили по рекламным объявлениям. Половина этих пользователей попадала на стандартную страницу, а другая половина — на специально разработанную страницу, посвященную аудиокнигам.​

Результат: Кастомизированная страница привела к увеличению числа премиум-подписок на 24%.

Ухудшающие A/B-тесты: быстрый способ проверки гипотез

Это эффективный, но редко используемый инструмент. В продуктовой аналитике часто встречается ситуация, когда команда считает какой-то фактор важным, но не имеет объективных данных, подтверждающих это.

Например:

• «Нам нужно ускорить загрузку приложения, иначе пользователи уйдут»
• «Если мы не будем отправлять пуш-уведомления, Retention снизится»
• «Быстрое время ответа саппорта — ключ к удовлетворенности пользователей»

Вместо того чтобы вкладывать ресурсы в улучшение (что может быть дорого), ухудшающий A/B-тест позволяет проверить, насколько этот фактор вообще влияет на ключевые метрики. 

Принцип ухудшающего теста: искусственно ухудшить какой-то аспект продукта и измерить его влияние на пользовательское поведение.

Задача:
Компания хочет инвестировать в ускорение работы приложения, так как считает, что быстрая загрузка повысит Retention и конверсию.

A/B-тест:
Вместо того чтобы сразу вкладывать деньги в ускорение, команда замедляет приложение (например, на 1, 2 и 3 секунды) и наблюдает, как это влияет на ключевые метрики.

Возможный результат:
Ключевые метрики не изменились, а значит, вкладывать ресурсы в ускорение работы на данном этапе не является приоритетом.

Бизнесы боятся, что ухудшение продукта вызовет отток пользователей или негативные отзывы. Но если ухудшающий тест спроектирован правильно, он затрагивает только малую долю аудитории и проходит в ограниченный срок.

Проблема подглядывания в A/B-тестах

Что такое peeking problem?

Одна из самых распространенных и опасных ошибок в A/B-тестах — проблема подглядывания (peeking problem). Она возникает, когда продуктовые команды слишком рано принимают решения на основе промежуточных данных, не дождавшись корректного завершения эксперимента.

Если останавливать тест при первой значимой разнице в результатах, высока вероятность ошибочного вывода.

Почему подглядывание искажает результаты? 

Феномен случайных флуктуаций

Если тест показал значимую разницу слишком быстро, то, скорее всего, это случайность. Даже если разницы между вариантами A и B нет, метрики все равно будут колебаться из-за случайности. Если тест продолжается достаточно долго, разница между группами будет периодически выходить за границы статистической значимости, даже если изменений нет.

Таким образом, если вы проверяете результаты слишком часто, стандартные статистические методы начинают давать ложноположительные результаты.

Как избежать ошибки?

Фиксировать размер выборки заранее

Перед началом теста рассчитайте, сколько пользователей вам нужно, чтобы выявить значимые различия. Например, если вам нужно 100,000 пользователей, не анализируйте тест, пока данные не собраны.

Использовать Sequential Testing

Этот метод позволяет динамически адаптировать тест, не допуская роста p-value. Sequential Testing (последовательное тестирование) позволяет анализировать данные по мере их поступления и принимать решения о завершении эксперимента раньше запланированного срока, если результаты становятся статистически значимыми.

Например, Google и Optimizely применяют Sequential Experiment Design, который корректирует статистические расчеты с учетом частых проверок.

Использовать Байесовский подход

В статистике существуют два основных метода оценки вероятностей: частотный и байесовский.​

Частотный метод оценивает вероятность события на основе частоты его появления в большом числе повторений. Например, если при 100 подбрасываниях монеты «орел» выпал 50 раз, можно сказать, что вероятность выпадения «орла» составляет 50%.​

Байесовский метод трактует вероятность как степень уверенности в наступлении события, которая обновляется по мере поступления новой информации. Например, если вы знаете, что в коробке в основном шоколадные конфеты, вы предполагаете, что, взяв одну наугад, это, скорее всего, шоколадная конфета. Если затем вам сообщают, что в коробке также есть карамельные конфеты, вы корректируете свою уверенность с учетом новой информации.​

В контексте A/B-тестирования байесовский подход позволяет учитывать неопределенность и обновлять вероятность успеха варианта в режиме реального времени по мере поступления новых данных. 

В отличие от частотного метода, байесовские A/B-тесты позволяют учитывать неопределенность и корректировать вероятность выигрыша в режиме реального времени. Однако байесовские методы тоже чувствительны к подглядыванию, если не используются правильно.

Не принимайте решение при первом выходе в зону значимости

Если разница стала значимой, продолжайте тест до конца. Если разница сохраняется стабильно в течение нескольких дней — тогда можно делать более уверенные выводы.

Ошибки и ловушки A/B-тестирования

Преждевременное завершение теста

Команда видит многообещающую разницу в показателях и спешит завершить эксперимент, не дожидаясь нужного объема данных.

Чем это грозит: высокая вероятность ложноположительного результата. То, что кажется успехом на 3-й день, может не быть им на 10-ый.

Что делать: фиксировать размер выборки и длительность теста заранее — и не принимать решений до его окончания.

Отсутствие четкой гипотезы

Тест запускается без четкого понимания, что именно мы хотим проверить и какой результат считаем успешным.

Игнорирование эффекта новизны (novelty effect)

Краткосрочный всплеск интереса к новому элементу принимается за стабильный рост.
А после завершения теста метрика «откатывается» обратно, и эффект исчезает.

Что делать: анализировать поведение в динамике, учитывать, устойчив ли эффект на протяжении теста.

Множественное тестирование и проблема p-hacking

Запускаются десятки тестов одновременно или анализируется множество метрик без корректировки. Получается высокая вероятность найти «значимые» результаты случайно, просто из-за количества попыток.

Что делать:

• Фиксировать заранее: какую гипотезу, метрику и версию проверяем.
• Использовать коррекцию на множественные проверки (например, Bonferroni).
• Избегать поиска результата «задним числом» — это и есть p-hacking.

Перетекание пользователей между группами (sample ratio mismatch)

Один и тот же пользователь попадает в обе версии теста (например, через разные устройства или из-за технических багов). Это может привести к искажению данных, размытому эффекту и невозможности сделать корректные выводы.

Что делать:

• Жестко фиксировать пользователя к одной из версий (по user ID, cookie и т.д.).
• Проверять соотношение пользователей в группах: оно должно быть близко к заданному (например, 50/50).

Влияние скрытых переменных и сезонности

Результат теста искажается из-за внешних факторов — праздников, маркетинговых кампаний, роста трафика, форс-мажоров, важных событий и т.п. И можно приписывать эффект тестируемому изменению.

Что делать:

• Планировать тесты вне нестабильных периодов.
• Фиксировать важные внешние события в календаре анализа.
• Использовать сегментный анализ и дополнительно контролировать возможные переменные.

Узнайте больше

— Ухудшающие A/B-тесты — самый недооцененный инструмент менеджера продукта

— Как не надо анализировать A/B-тесты. Проблема подглядывания

— Почему ваши A/B-тесты требуют больше времени, чем могли бы

— Дизайн A/B-тестов. Инструкция и шаблон

— Как в Flo повысили долю успешных A/B-тестов на 30% через внедрение нового процесса работы с гипотезами

Благодарим Вадима Купцова и Тимура Ахмета (Массоми) за фактчекинг материала.