ᐈ Инкрементальность рекламы. Как оценить истинное влияние рекламных каналов на рост продукта

GoPractice продолжает серию материалов о том, как влиять на рост продуктов через эффективное управление рекламными каналами.

Из этого материала вы узнаете что такое инкрементальность в маркетинге, чем она отличается от модели атрибуции, какие индикаторы указывают на наличии проблем с инкрементальностью.

Мы разберем подходы к проведению инкрементальных тестов в разных условиях и обсудим, как калибровать модели атрибуции и всю систему оценки эффективности рекламных каналов на основе полученных знаний.

Если вы хотите глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.

→ «Симулятор управления продуктом на основе данных» поможет научиться принимать решения с помощью данных и исследований при создании продукта (путь от 0 к 1).

→ «Симулятор управления ростом продукта» поможет найти пути управляемого роста и масштабирования продукта. Вы построите модель роста и составите стратегию развития продукта (путь от 1 к N).

→ «Симулятор SQL для продуктовой аналитики» поможет освоить SQL и применять его для решения продуктовых и маркетинговых задач.

→ «Симулятор управления ML/AI-проектами» научит применять технологии машинного обучения с пользой для бизнеса.

Не знаете с чего начать? Пройдите бесплатный тест для оценки навыков управления продуктом. Вы определите свои сильные стороны и слепые зоны, получите план профессионального развития.

Еще больше ценных материалов и инсайтов — в телеграм-канале GoPractice.

Оглавление цикла

Первый материал: Ошибки при расчете ROI и юнит-экономики. Влияние моделей атрибуции и инкрементальности на ROI в маркетинге

Почему при расчете ROI и юнит-экономики нельзя игнорировать влияние используемых моделей атрибуции и инкрементальности рекламы.

Второй материал: Модели атрибуции трафика. Почему модель атрибуции должна изменяться вместе с каналами продвижения, продуктом, маркетинговой задачей и внешней средой

Как подбирать модели атрибуции для оценки эффективности рекламных каналов исходя из специфики продукта, маркетинг-микса, бизнес-задачи и условий внешней среды; почему надо пересматривать и адаптировать модель атрибуции в случае изменений этих факторов.

Третий материал: Способы атрибуции рекламы без явного касания или клика

Как атрибутировать рекламу, если в маркетинг-миксе есть каналы, где сложно или невозможно зафиксировать касание пользователя с рекламой: альтернативные способы и их внедрение.

Четвертый материал: Инкрементальность рекламы. Как оценить истинное влияние рекламных каналов на рост продукта [вы здесь]

Что такое инкрементальность в маркетинге, чем она отличается от модели атрибуции, какие индикаторы указывают на наличии проблем с инкрементальностью. Подходы к проведению инкрементальных тестов в разных условиях, калибровка модели атрибуции и всей системы оценки эффективности рекламных каналов.

Пятый материал: Проблемы с инкрементальностью каналов. Типичные ситуации их возникновения и признаки, которые на них указывают

Какие факторы могут привести к проблемам с инкрементальностью каналов, какие признаки указывают на их наличие.

В этом цикле материалов мы сосредоточились на проблемах оценки эффективности рекламных каналов.

В первом материале мы разобрали основные проблемы, с которыми сталкиваются команды в процессе управления каналами роста. Второй и третий материалы были нацелены на детальное изучение принципов работы моделей атрибуции — одного из главных инструментов оценки эффективности рекламных каналов.

Этот материал посвящен теме инкрементальности рекламных каналов: оценке истинного влияния рекламы на рост вашего продукта.

Понимание объективной эффективности каналов — фундамент для правильного расчета ROI (юнит-экономики) и формирования оптимального маркетинг-микса.

Инкрементальность и модели атрибуции

В предыдущих материалах мы уже обсудили, что модель атрибуции позволяет с определенной точностью получить оценку эффективности рекламных каналов, выполняя роль компаса в управлении маркетинг-миксом. При этом модель атрибуции должна эволюционировать при изменениях в ключевых элементах модели роста. В противном случае — она перестанет достаточно точно описывать реальность, что приведет к снижению качества принимаемых решений.

Для того, чтобы понять, насколько точно работает модель атрибуции и нуждается ли она в доработке, следует изучить инкрементальность рекламных каналов — определить истинное влияние рекламы на рост продукта.

Давайте рассмотрим простой кейс из области управления продуктом, который поможет понять, что такое инкрементальность.

Что такое инкрементальность на примере продуктовой фичи

Вы работаете над продуктом, который монетизируется с помощью фичи X. Недавно вы запустили новую фичу Y, которая тоже работает на монетизацию.

Фича Y начала приносить доход. Но как понять, приносит ли она реальную пользу бизнесу? Может быть, она просто перераспределяет деньги, которые вы и раньше получали благодаря функциональности X (ниже — сценарий 1)? Или же она дает инкрементальный доход поверх того, что вы зарабатывали бы без нее (ниже — сценарий 2)?

Инкрементальность рекламы. Как оценить истинное влияние рекламных каналов на рост продукта

Изучите последнюю картинку, где:

Δ_inc_rev_Y — инкрементальные продажи от запущенной фичи Y, то есть разница между total_revenue до запуска фичи и total_revenue после запуска.
non_inc_rev_Y — неинкрементальные продажи фичи Y.

Обратите внимание, что в обоих сценариях атрибутированная фиче Y выручка одинакова. Однако инкрементальная выручка от фичи Y различается.

На практике, чтобы ответить на вопрос об инкрементальности новой фичи Y, нужно провести A/B-тест. То есть разделить аудиторию на тестовую и контрольную группы, где тестовой группе дать версию продукта с новой фичей Y, а для контрольной группы — оставить продукт без изменений.

Сравнив показатели дохода на пользователя в каждой из групп эксперимента, мы сможем понять, как на самом деле фича повлияла на бизнес. Какая часть из денег, которые она приносит — это дополнительный инкрементальный доход, а какая — забранный доход от других механизмов монетизации.

Таким образом, изучение инкрементальности определенной фичи — это ответ на вопрос, какова ее истинная дополнительная ценность для бизнеса.

Инкрементальность в маркетинге — понимание реальной причинно-следственной связи между каналом и целевыми действиями в продукте

Мы разобрали пример проблемы инкрементальности продуктовой фичи. С рекламными каналами возникает точно такая же проблема.

Канал может привлекать новых пользователей и генерировать доход в соответствии с данными модели атрибуции.

Ключевой вопрос — являются ли эти пользователи и доход дополнительными, то есть инкрементальными? Если бы мы отключили этот канал, то насколько просели бы общие показатели бизнеса?

Если вы можете ответить на вопрос, какое количество целевых действий (установок, регистраций, покупок) вы получаете в результате инвестирования $1 в рекламный канал, то вы точно понимаете его инкрементальность для вашего бизнеса.

Важно понимать, что инкрементальные целевые действия могут отличаться от фактически атрибутированных целевых действий, так как по умолчанию модели атрибуции не умеют учитывать такого рода взаимосвязи с точностью в 100%. Равно как доход, атрибутированный фиче Y в примере выше, не в полной мере отражал инкрементальный доход от этой фичи, так и модели атрибуции трафика не могут абсолютно точно определить влияние канала на рост продукта.

Модели атрибуции и инкрементальность — в чем разница

Инкрементальность отражает истинную ценность канала для бизнеса — причинно-следственную связь между инвестициями в рекламный канал и целевыми действиями.

Единственный объективный способ оценить инкрементальность — это A/B-тест. Если вернуться к примеру с фичей Y, то у вас не было другого объективного способа определить ее инкрементальность, кроме проведения эксперимента.

Но проблема в том, что вы не можете делать инкрементальные A/B-тесты каждый раз, когда хотите оценить эффективность конкретного рекламного канала, кампании или креатива. Такие тесты требуют времени и денег, а решения по оптимизации маркетинговых активностей нужно принимать регулярно и быстро.

Именно поэтому мы пользуемся моделями атрибуции, которые позволяют быстро и с приемлемой точностью понять, как именно разные каналы влияют на целевые действия, то есть оценить инкрементальность канала с некоторой погрешностью.

Но сами по себе модели атрибуции не понимают причинно-следственных связей между каналами и целевыми действиями в продукте. Они служат ориентиром, причем эффективность их работы сильно зависит от ряда динамических факторов — конкуренции в канале, влияния каналов друг на друга, изменений на уровне бюджета, продукта или бизнес-цели.

Поэтому модели атрибуции нуждаются в постоянной калибровке (эти темы мы обсуждали в предыдущих материалах):

На уровне правил атрибуции целевых действий;
На уровне данных, которые нужны, чтобы логическая часть модели атрибуции работала корректно.

Как проверить настолько точна модель атрибуции?

Необходимо провести инкрементальный A/B-тест;
Полученный результат об инкрементальных целевых действиях сравнить с атрибутированными целевыми действиями, полученными с помощью модели атрибуции.
Чем ближе эти значения друг к другу, тем более точно работает модель атрибуции, а значит — команда более точно оценивает объективную ценность канала.

Как применять на практике понимание связи модели атрибуции и инкрементальности

Шаг 1. Понять, есть ли проблемы с инкрементальностью каналов (расходятся ли атрибутированные и инкрементальные целевые действия)

Инкрементальные исследования каналов — это ресурсоемкая задача. Поэтому прежде чем проводить инкрементальные тесты, нужно определить каналы, где могут быть проблемы.

Мы будем говорить, что существует проблема инкрементальности канала, если есть большая разница (более 15–20%) между атрибутированными целевыми действиями и реальным количеством целевых действий в результате использования канала. В продуктовой аналогии в начале статьи это соответствует первому сценарию.

Наиболее остро проблема инкрементальности может быть выражена в следующих ситуациях:

Если у вашего продукта длинный цикл сделки. Пользователь проходит долгий путь с момента знакомства с брендом до момента покупки.
Если вы используете большое количество рекламных каналов. Как правило, аудитория рекламных каналов пересекается, что может порождать:
- Синергию. Комбинация каналов повышает вероятность конверсии, но при этом заслуги могут присваиваться лишь одному из них;
- Каннибализацию. Пересечение каналов не усиливает рекламный эффект, а лишь порождает сложности атрибуции. Целевое действие может присваиваться каналу который не влиял на конверсию, но был в цепочке;
- Overlap. Один и тот же пользователь оказывается атрибутирован нескольким каналам.
Если у вас сильный бренд. Вы не первый год на рынке, вас хорошо знает потенциальная целевая аудитория, а это знание сформировано ранее запущенными рекламными кампаниями или другими циклами роста. По сути, это брендовая органика, которую вы можете собирать другими платными каналами, но их роль в привлечении конверсии незначима.
Если вы используете модель атрибуции, которая долгое время не подстраивалась под изменения в продукте, каналах привлечения или бизнес-задачах.
Если природа используемых каналов порождает сложности в оценке их эффективности:
- Канал не предусматривает явный клик и переход по ссылке;
- Канал закрывает воронку, а не порождает спрос;
- Канал порождает спрос, но не закрывает его в целевое действие.
Когда в вашем трафике замешан фрод — например, недобросовестные партнеры перепродают вам ваш же органический брендовый трафик.
Когда меняются внешние факторы — проблемы с трекингом из-за IDFA, изменения в логике работы cookies в браузерах и так далее.

Шаг 2. Оценить инкрементальность рекламных кампаний с помощью инкрементальных A/B-тестов

Если ваша ситуация соответствуем каким-либо из описанных выше критериев, то стоит перейти к инкрементальным тестам.

В начале материала мы рассмотрели пример инкрементального тестирования на примере A/B-теста продуктовой фичи. Давайте предположим, что с помощью эксперимента мы смогли оценить инкрементальный доход в результате запуска фичи Y (ниже — сценарий 2).

Для оценки инкрементальности рекламы нужно использовать точно такой же подход. Только в этом случае вы будете проводить A/B-тесты не на уровне продуктовой фичи, а на уровне маркетингового канала.

Но если в продукте провести эксперимент в большинстве случаев достаточно просто, то в случае маркетинговых каналов задача сильно усложняется. Вы не контролируете тестовую среду — взаимодействие пользователя с рекламой происходит за рамками продукта.

Некоторые рекламные сети решили эту проблему через добавление специальных инструментов для инкрементального тестирования рекламных кампаний. Но есть и такие рекламные каналы, где вам придется самостоятельно имитировать подобные тесты.

Встроенные инкрементальные тесты

Один из примеров встроенных инструментов инкрементального тестирования — это Conversion Lift от Facebook. В основе этого инструмента лежат принципы классического A/B-теста, но только в рамках рекламного канала.

Пользователи из целевого сегмента делятся на две группы. Одна из них будет видеть рекламную кампанию (тестовая группа), а другая — нет (контрольная группа). Разница в количестве целевых действий внутри продукта между пользователями каждой из групп будет отражать инкрементальность кампании (то есть реальное воздействие на целевые действия).

Как это работает:

Facebook случайным образом делит пользователей своих продуктов, где показывается реклама, на тестовую и контрольную группу;
Дальше тестовой группе показывается реклама, а контрольной группе — нет;

После набора нужного количества данных для статистической оценки Facebook определяет разницу в целевых действиях в продукте между тестовой и контрольной группой. Разница в целевой метрике внутри продукта и будет оценкой инкрементальности кампании.

Запускать инкрементальные тесты можно как на уровне рекламного аккаунта, так и на уровне кампании. Найти функциональность инкрементального тестирования можно в разделе «Эксперименты» в рекламном кабинете Facebook.

Пример влияния инкрементального теста на настройку модели атрибуции

Такие тесты помогают понять инкрементальность рекламы на Facebook. Это также позволяет дополнить модель атрибуции новыми правилами, чтобы откалибровать атрибутированные целевые действия с инкрементальными целевыми действиями.

Например, если вы используете внутреннюю модель атрибуции Facebook с параметрами «Click с окном атрибуции в 7 дней» и «Post View с окном атрибуции в 1 день», то после проведения инкрементального теста можете обнаружить, что инкрементальные продажи отличаются от продаж на основе модели атрибуции. Эти знания послужат основой для калибровки модели.

Вы можете поменять правило «Click с окном атрибуции 7 дней» на «Click с окном атрибуции 3–5 дней» и отменить атрибуцию на основе правила Post View, а затем посмотреть, как это повлияло на разницу между атрибутированными целевыми действиями и инкрементальными целевыми действиями в рамках эксперимента.

Минусы инкрементальных тестов

Главный недостаток инкрементальных тестов в том, что для получения результатов нужно накопить достаточно большой объем данных. А это стоит денег.

Подобного рода функциональность инкрементальных тестов доступна не только в Facebook, но и в других рекламных сетях. Обычно это большие сети, например, Сriteo. Также инкрементальное тестирование может быть доступно в трекинговых платформах вроде AppsFlyer.

Важно упомянуть что подобного рода функциональность, скорее всего, перестанет работать в рамках iOS-устройств, так как новая логика работы IDFA, по сути, отбирает у Facebook возможность качественно сегментировать аудиторию на тестовую и контрольную группы, а затем отслеживать действия этих пользователей в вашем мобильном приложении.

Кастомные тесты на инкрементальность

Встроенные в рекламные сети инкрементальные тесты сильно упрощают работу маркетологам, но такие инструменты оценки эффективности рекламы есть далеко не везде. Это повышает сложность процесса определения реальной эффективности каналов.

В примере выше Facebook выполнял всю работу за вас: определял размер тестовых групп, время проведения эксперимента, статистическую значимость результатов. Но что самое важное — Facebook обеспечивал качество теста в рамках рекламного канала.

В рамках других рекламных каналов функциональности инкрементальных тестов может не быть. В такой ситуации вам нужно будет самостоятельно имитировать инкрементальный тест, а для этого нужно хорошо понимать основные принципы A/B-тестирования.

Скорее всего, у вас не получится провести идеальный эксперимент, так как вы не контролируете целиком сам рекламный канал, но вы все же можете попробовать максимально приблизиться к нужным условиям.

Основные принципы проведения инкрементальных A/B-тестов в рекламных каналах

Перед тем как перейти к обсуждению дизайна экспериментов в рекламных каналах, давайте вспомним основные аспекты проведения A/B-тестов.

При дизайне и проведении A/B-тестов важно соблюдать определенный набор рекомендаций (более детально про А/B-тесты можно прочитать несколько материалов здесь):

Вы должны случайным образом делить пользователей между тестовой и контрольной группами. Это обеспечивает условие идентичности двух групп.
Вы должны постараться обеспечить изолированное воздействие изменения (например, наличия рекламной кампании) на тестовую группу.
После сбора данных вам нужно будет подсчитать, является ли наблюдаемое изменение статистически значимым, или нет.

— Для этого в рамках предположения идентичности групп рассчитывают вероятность получить наблюдаемую в эксперименте или большую разницу между группами. Такое значение называют p-value.

— Если p-value меньше порогового значения (обычно 5%), то изначальное предположение об идентичности тестовой и контрольной группы отвергается. В этом случае можно с высокой степенью уверенности утверждать, что наблюдаемая разница между группами статистически значима (связана с тестируемым изменением, а не случайностью).

— Если p-value больше порогового значения, то тестируемые версии на основе собранных данных неразличимы. При этом в реальности между ними как может быть различие, которое мы просто не выявили, так его может и не быть. Мы не знаем.

Когда вы тестируете продуктовую фичу, у вас есть возможность изолировать контрольную группу. Такую же возможность дают встроенные инструменты инкрементального тестирования в рекламных сетях.

Но достигнуть чистоты эксперимента в рамках самостоятельного дизайна инкрементального теста достаточно сложно или даже невозможно. Тем не менее, проводить такие исследования все равно будет полезно.

Примеры кастомных инкрементальных тестов

Инкрементальные тесты, где есть возможность разделить аудиторию на тестовую и контрольную группу

Понимая основные принципы A/B-тестирования, вы можете спроектировать инкрементальные тесты, используя доступные инструменты рекламной сети.

Для этого вам нужно будет выделить тестовую и контрольную группу, запустить на них разные рекламные кампании. Ваша задача — в рамках ограниченных возможностей задизайнить эксперимент так, чтобы было очевидно какие продажи инкрементальные, а какие — нет.

Как это выглядит на примере рекламы в Facebook

Через функциональность A/B-testing (обратите внимание, что это другой инструмент — не Conversion Lift, которые мы обсуждали ранее):

Нужно создать и запустить (или запланировать показ) кампанию и адсет, которые будут принимать участие в эксперименте с целевым креативом и целевой посадочной.
Сделать дубль кампании и адсета с целевыми креативом и посадочной, поменять их на креатив, который не имеет ничего общего с вашим продуктом, поменять посадочную на страничку, которая не связана с покупкой или другим целевым действием которое вы хотите тестировать.
Затем в разделе Experiments выбрать инструмент A/B test.

Дальше выбрать объекты тестирования. В нашем примере это будут адсеты, в каждом из которых мы разместили по одному тестируемому креативу, один — целевой, другой — не связанный с продуктом.

После того как мы задали все условия теста, завершающим шагом будет пересмотр эксперимента, где нам станет доступна предварительная оценка чувствительности эксперимента. Чтобы выводы были достоверными, она должна быть не ниже 80%.
Собираем необходимый объем данных для выводов.
Считаем разницу в целевых действиях между тестовой и контрольной группой. Эта разница и будет инкрементальным результатом рекламного канала.

При использовании этого метода не стоит вмешиваться в ход эксперимента. Если тестирование будет проводиться с произвольным включением и отключением адсетов, либо внесением других изменений, это может привести к искажению результатов.

Может показаться, что функциональность A/B-тестов и Conversion Lift — это одно и то же, но это не так.

A/B-тесты нацелены на тестирование параметров кампаний или адсетов (гео, возраст, текст и так далее) в случае, когда вы хотите быстро понять, какой параметр работает лучше. При этом и тестовая, и контрольная группа видит рекламу, а результаты оцениваются через стандартную модель атрибуции.
Conversion Lift работает на основе классических A/B-тестов, где части аудитории показывается реклама, а части — нет. Этот подход позволяет измерять причинно-следственную связь, первый — нет (подробнее о различиях этих инструментов читайте здесь).

Через Audiences — использование кастомных аудиторий на основании просмотра видео:

В разделе Audiences создаем кастомную аудиторию для каждого креатива (целевого и нецелевого).

В результате у вас будет две аудитории для дальнейшего использования:

— Audiences – video_valid

— Audiences – video_non_valid
Создаем кампанию и адсеты для своего теста. Каждый адсет будет представлять один креатив (целевой и нецелевой) и разные посадочные (целевую и нецелевую). На уровне адсета мы зададим исключения аудиторий — из тестовой группы объявлений мы исключаем аудиторию контрольной группы и наоборот, то есть если человек посмотрел рекламу одного адсета, он не будет доступен для таргета рекламы другого.
Собираем необходимый объем данных для выводов.

Считаем разницу в целевых действиях между тестовой и контрольной группой. Эта разница и будет инкрементальным результатом рекламного канала.

Для правильного проведения A/B-теста меняться должно только одно условие или объект тестирования, поэтому остальные настройки таргетинга должны быть одинаковыми во всех кампаниях или адсетах. Также для чистоты эксперимента у кампаний или групп должен быть равноценный бюджет и одинаковый срок действия.

Недостатком метода использования кастомных аудиторий может быть то, что вам будет сложно набрать нужный объем данных для выводов, так как оптимизатор рекламной сети будет отдавать преимущество адсету с целевым креативом. Для решения этой проблемы и равномерного распределения бюджета между двумя адсетами нужно отключить CBO (Campaign Budget Optimization) в настройках кампании, и тогда у целевого и нецелевого креативов будут равноценные бюджет и охват.

Визуально это выглядит так (1 — тестовая группа, 2 — контрольная группа):

Если в результате такого теста вы увидите конверсии в контрольной группе, где их быть не должно, то вы быстро поймете, что это как раз и есть индикатор неинкрементальных продаж, которые также будут и в тестовой группе.

С помощью такого дизайна мы максимально приблизились к методу работы Conversion Lift. Для формирования контрольной группы нам придется запустить рекламу, не связанную с нашим продуктом, что приведет к дополнительным расходам, которые уйдут на нецелевой креатив. Но именно так мы можем понять реальную инкрементальность рекламной кампании и на основе этой информации скорректировать модель атрибуции.

Важно помнить, что подобного рода эксперименты не дают точности в 100%, поэтому полученные результаты стоит проверить на практике через внесение изменений в ваши модели атрибуции и стратегию управления маркетинг-миксом. Если результаты близки к реальным, ваши действия должны приводить к росту целевых метрик. В противном случае, нужно пересмотреть дизайн эксперимента и провести его повторно.

Подобный дизайн может использоваться и в других рекламных сетях в интернете.

Региональные тесты и инкрементальность

Для рекламы в офлайне (ТВ, радио, наружная реклама) подойдет метод выделения тестовой и контрольной групп на основе регионов. Для интернета это решение тоже подходит.

Вам нужно подобрать два региона, максимально похожих по поведению целевой аудитории и целевой метрики. А затем в одном из них запустить рекламу, а в другом — нет. И сравнить результаты.

По сути, это тот же A/B-тест, но только со своей спецификой формирования тестовой и контрольной групп. Из плюсов этого подхода — вы платите только за результат, так как контрольной группе не показывается реклама.

Минусы тоже есть:

Подобрать похожие между собой регионы сложно, но это условие критично для последующего анализа.
Подобный эксперимент требует больших бюджетов, чтобы увидеть результат. Особенно, если у вашего продукта ненулевое знание в обоих регионах.
Вы теряете возможность заработать на контрольном регионе на период теста, так как там нельзя проводить рекламные активности в канале, который вы тестируете.

Включение и выключение рекламы для оценки инкрементальности

Одним из видов инкрементального тестирования может быть включение и выключение рекламного канала. Такой подход хорошо работает с триггерной рекламой, где нет остаточного эффекта (хвоста целевых действий).

Одним из примеров такого подхода инкрементального тестирования является оценка эффективности покупки контекста на свой бренд.

Практически каждый продукт закупает контекстную рекламу на свой бренд. Обычно это делают из-за того, что по брендовым запросам любят крутиться конкуренты. Иногда же это делают веб-мастера (если у вас есть партнерская программа), перепродавая вам вашу же органику.

ROI таких кампаний при классическом расчете юнит-экономики очень хороший — по брендовым запросам приходит самый целевой трафик. Но если принимать решения на основе этих цифр, то велик шанс потерять деньги.

Вполне возможно, что вы просто платите за тех, кто пришел бы и так, перейдя по первой ссылке в органическом поиске. Или все же конкурент мог бы купить рекламу и перехватить их с помощью рекламного размещения?

Это можно проверить с помощью «шахматки». Принцип метода очень прост: в один день вы включаете рекламу на свой бренд, а в другой день — нет. И потом считаете разницу между целевыми действиями дней без рекламы и дней с рекламой. Более детально мы описали применение этого метода в этом материале.

Поэтапный запуск рекламных каналов с отслеживанием меняющейся эффективности

Бывают ситуации, когда сложно понять инкрементальность каждого рекламного канала. Эта проблема особенно актуальна, если у вас большой маркетинг-микс.

В таких условиях можно применить метод полного отключения всех рекламных каналов с целью получить baseline органических продаж. После получения baseline органики медленно и последовательно запускайте каждый рекламный канал и смотрите на дельту.

Визуально такой процесс должен выглядеть как слоеный пирог, где постепенно добавляются новые каналы.

В качестве альтернативы такому методу вы можете провести тест на прирост. Аномально масштабировать бюджеты на какой-то отдельный канал, чтобы понять его «потолок» и увидеть сопутствующие эффекты на другие каналы.

Из примера ниже можно увидеть, что мы аномально масштабировали расходы и, как следствие, результат канала “FB_ads”. В результате мы увидели его влияние на другие каналы. В итоге совокупная инкрементальность канала составила 85 000 вместо атрибутированных 50 000.

Недостаток такого подхода — его дороговизна. В ситуациях, когда другие каналы уже достаточно крупные, для того, чтобы увидеть эффект, нужно потратить достаточно много денег.

Это не все существующие способы инкрементального тестирования. У каждого канала или набора каналов и продукта есть своя специфика, поэтому комбинация подходов к оценке инкрементальности всегда будет разной. Но если вы поняли основную идею, то вы сможете подобрать оптимальный вариант под свою ситуацию.

Шаг 3. Убедитесь, что вся система оценки эффективности рекламных каналов работает правильно. Понимание инкрементальности одного канала не решает проблему

Практически каждая команда маркетинга работает с множеством рекламных каналов. Эти каналы обычно связаны между собой, так как аудитория в них пересекается.

Визуально пересечение каналов может выглядеть так:

Где:

Вся ЦА — емкость вашего рынка;
ЦА, доступная в каналах — сегмент вашего рынка, которому вы можете доставить ваш продукт, используя рекламный канал;
Пересечение ЦА в каналах — один и тот же сегмент присутствует сразу в двух или нескольких рекламных каналах.

С одной стороны, пересечение каналов — это даже хорошо. Вы повышаете количество касаний пользователя с вашим брендом, что увеличивает вероятность конверсии (создается синергия каналов).

С другой стороны, пересечение каналов сильно усложняет оценку их эффективности, особенно если у вас нет отлаженной единой модели атрибуции. Например, вы используете разные модели атрибуции, которые не связаны между собой (локальные модели и модели встроенные в рекламные каналы, либо сторонние трекеры вроде AppsFlyer).

Практический пример, где понимания инкрементальности одного канала недостаточно

Давайте рассмотрим пример, где у вас возникли сомнения по поводу инкрементальности рекламы на Facebook.

Вы провели инкрементальный тест и выяснили, что лишь часть из атрибутированных продаж инкрементальна. Визуально это выглядит так:

Где:

Белая область круга Facebook — инкрементальные продажи;
Желтая область — неинкрементальные продажи Facebook.

После проведения инкрементального теста вы скорректировали внутреннюю модель атрибуции Facebook и она стала работать точнее.

Но остался вопрос — а кому атрибутировать неинкрементальные продажи Facebook (желтая область на рисунке)? Может быть, какой-то из каналов мы недооценили? Может быть, одно целевое действие было атрибутировано нескольким каналам одновременно и увеличивает Overlap?

Отсутствие ответов на эти вопросы может порождать ошибки в управлении каналами роста. О последствиях — подробнее в этом материале.

Чтобы избежать такого сценария, нужно изучать инкрементальность каждого канала отдельно, а затем на основе полученных знаний оптимизировать все модели атрибуции, которые должны работать как единая система.

Важность отслеживания Overlap при изучении инкрементальности в рамках микса каналов

В ходе оптимизации моделей атрибуции на основе полученных данных об инкрементальности стоит уделить отдельное внимание динамике Overlap. Важно отслеживать, как меняется этот показатель по мере внесения различных изменений — как в модели атрибуции, так и на уровне работы с каналами роста.

Если overlap превышает 10–15%, у вас явная проблема с инкрементальностью. Нужно искать причины и пути уменьшения этого показателя.

Давайте рассмотрим простой пример.

Ваш маркетинг-микс состоит из 6 рекламных каналов, включая органику.
Для оценки эффективности рекламных каналов вы используете разные модели атрибуции.
При расчете ROI каждого канала вы не заметили проблем, но если сделать оценку на верхнем уровне, то заметна разница между суммой атрибутированных продаж по всем каналам и суммой фактических продаж: Overlap — 25%.

Где:

Значения в столбце month_1 — это доля атрибутированных продаж каналу от суммы фактических продаж.
Если сложить доли всех каналов, то получится 125% вместо 100%, Overlap — 25%.

Поясним на примере: фактические продажи в первом месяце составили $108 000. При этом сумма всех атрибутированных разных каналам продаж составила $135 000 (108 000 * 1.25). Это значит, что какие-то продажи были одновременно атрибутированы нескольким каналам.

Это говорит о том, что, скорее всего, ваши модели атрибуции в комбинации работают не совсем корректно: одни и те же конверсии атрибутируются разным каналам. Это приводит к тому, что эффективность каждого канала в отдельности выглядит лучше, чем есть на самом деле. Вы переплачиваете за рекламу.

Чтобы понять, где именно находится проблема, надо изучить инкрементальность каждого канала по отдельности. Затем внести корректировки в модели атрибуции и наблюдать в динамике за показателем Overlap и фактическим доходом (важно, чтобы он не упал).

Если вы правильно оптимизировали работу всей системы, Overlap начнет уменьшаться, а фактические продажи при этом существенно не изменятся.

В нашем примере инкрементальность купонного трафика и “G_ads” была ниже, чем показатели моделей атрибуции. После оптимизации Overlap вернулся в норму, а фактические продажи не сильно изменились.

Из примера видно, что нужно не только следить за качеством работы моделей атрибуции, проверять их через инкрементальное тестирование, корректировать логику их работы при необходимости.

Нужно также следить и за работой всей системы оценки эффективности рекламных каналов на верхнем уровне. При необходимости калибровать всю систему в зависимости от изменений ряда динамических параметров — каналов, внешних факторов, продукта, маркетинг-микса, бизнес-задач и так далее.

Шаг 4. Дополнить модель атрибуции на основе результатов тестов

Влияние изучения инкрементальности на модель атрибуции на примере Facebook

Давайте на примере разберем процесс оптимизации модели атрибуции на основе результатов инкрементальных тестов.

Вы запустили стартап, продающий кофе по подписке, и начали привлекать целевых пользователей через Facebook.

Команда приняла решение использовать внутреннюю модель атрибуции Facebook (Click с окном атрибуции в неделю, Post View с окном атрибуции в один день), так как система больше знает о своих клиентах.

↓

Перед запуском рекламы команда приняла решение дополнительно запустить инкрементальный тест канала с помощью встроенного инструмента Facebook — Conversion Lift. По сути, это аналог A/B-теста на уровне рекламного канала.

↓

Реклама стартовала, команде удалось «нащупать» рабочие кампании и начать привлекать клиентов с положительным ROI — на основе внутренней модели атрибуции Facebook.

На этом этапе для продукта работал лишь один канал привлечения. На основе внутренней модели атрибуции Facebook он окупался (то есть ROI > 0). И это даже без учета органики, которая появилась в момент старта кампании, и, скорее всего, являлась ее следствием.

↓

Через некоторое время команда решила проверить результаты теста на инкрементальность:

Тестовая группа сделала 1000 подписок;
Контрольная группа сделала 200 подписок.

Результат статистически значим.

Что это значит простыми словами? Facebook определил влияние своей рекламы на целевые действия в продукте и рассчитал инкрементальные продажи. Они равны разнице между результатами тестовой и контрольной группы (1000 – 200 = 800).

↓

Команда пересчитала экономику и скорректировала свои дальнейшие действия. Модель атрибуции Facebook дополнилась пониманием инкрементальности этого канала. Теперь полученные результаты умножались на 0.8.

↓

После того, как была оптимизирована модель атрибуции, были проведены дополнительные исследования (интервью с пользователями, анализ данных), чтобы понять, какому каналу атрибутировать целевые действия, которые приписывал себе Facebook в рамках базовой модели атрибуции. Оказалось что у проекта сильная виральность в результате сарафанного радио (люди рассказывают друг другу о сервисе).

На основе этой информации команда решила усилить этот эффект и запустила реферальную программу для пользователей.

↓

Выводы:

Запуск инкрементального теста на ранних стадиях развития проекта помог оптимизировать базовую модель атрибуции Facebook и более оптимально инвестировать бюджеты.
Результат инкрементального теста дал понять, что система оценки трафика на верхнем уровне работает не совсем корректно. Есть еще один канал, который является причиной неинкрементальных продаж Facebook.

Дополнительные исследования помогли найти виральный цикл роста. После этого были добавлены опросники при регистрации, чтобы улучшить локальную модель атрибуции — это оптимизация системы оценки трафика на верхнем уровне.
Понимание наличия виральности продукта натолкнуло команду на создание искусственного цикла роста — реферальной программы.

Оглавление цикла

Третий материал: Способы атрибуции рекламы без явного касания или клика

Каналы	Методы атрибуции
Поисковая реклама по бренду	Шахматка, поэтапный запуск рекламных каналов с отслеживанием меняющейся добавочной ценности
ТВ, радио, наружная реклама	Региональные тесты
Facebook Ads, Google Ads	Встроенные инструменты, кастомные тесты с нецелевой рекламой и посадочной
Реклама у блогеров (YouTube, TikTok, Instagram)	Региональные тесты, поэтапный запуск рекламных каналов с отслеживанием меняющейся добавочной ценности

Инкрементальность рекламы. Как оценить истинное влияние рекламных каналов на рост продукта

Оглавление цикла

Инкрементальность и модели атрибуции

Что такое инкрементальность на примере продуктовой фичи

Инкрементальность в маркетинге — понимание реальной причинно-следственной связи между каналом и целевыми действиями в продукте

Модели атрибуции и инкрементальность — в чем разница

Как применять на практике понимание связи модели атрибуции и инкрементальности

Шаг 1. Понять, есть ли проблемы с инкрементальностью каналов (расходятся ли атрибутированные и инкрементальные целевые действия)

Шаг 2. Оценить инкрементальность рекламных кампаний с помощью инкрементальных A/B-тестов

Встроенные инкрементальные тесты

Пример влияния инкрементального теста на настройку модели атрибуции

Минусы инкрементальных тестов

Кастомные тесты на инкрементальность

Основные принципы проведения инкрементальных A/B-тестов в рекламных каналах

Примеры кастомных инкрементальных тестов

Инкрементальные тесты, где есть возможность разделить аудиторию на тестовую и контрольную группу

Как это выглядит на примере рекламы в Facebook

Региональные тесты и инкрементальность

Включение и выключение рекламы для оценки инкрементальности

Поэтапный запуск рекламных каналов с отслеживанием меняющейся эффективности

Шаг 3. Убедитесь, что вся система оценки эффективности рекламных каналов работает правильно. Понимание инкрементальности одного канала не решает проблему

Практический пример, где понимания инкрементальности одного канала недостаточно

Важность отслеживания Overlap при изучении инкрементальности в рамках микса каналов

Шаг 4. Дополнить модель атрибуции на основе результатов тестов

Влияние изучения инкрементальности на модель атрибуции на примере Facebook

Рекомендации по использованию инкрементального тестирования рекламных каналов

Оглавление цикла