, CMO Letyshops, вместе с GoPractice продолжает серию материалов о том, как влиять на рост продуктов через эффективное управление рекламными каналами.
Оглавление цикла
Первый материал: Ошибки при расчете ROI и юнит-экономики. Влияние моделей атрибуции и инкрементальности на ROI в маркетинге
Почему при расчете ROI и юнит-экономики нельзя игнорировать влияние используемых моделей атрибуции и инкрементальности рекламы.
Второй материал: Модели атрибуции трафика. Почему модель атрибуции должна изменяться вместе с каналами продвижения, продуктом, маркетинговой задачей и внешней средой [вы здесь]
Как подбирать модели атрибуции для оценки эффективности рекламных каналов исходя из специфики продукта, маркетинг-микса, бизнес-задачи и условий внешней среды; почему надо пересматривать и адаптировать модель атрибуции в случае изменений этих факторов.
Третий материал: Способы атрибуции рекламы без явного касания или клика
Как атрибутировать рекламу, если в маркетинг-миксе есть каналы, где сложно или невозможно зафиксировать касание пользователя с рекламой: альтернативные способы и их внедрение.
Четвертый материал: Инкрементальность рекламы. Как оценить истинное влияние рекламных каналов на рост продукта
Что такое инкрементальность в маркетинге, чем она отличается от модели атрибуции, какие индикаторы указывают на наличии проблем с инкрементальностью. Подходы к проведению инкрементальных тестов в разных условиях, калибровка модели атрибуции и всей системы оценки эффективности рекламных каналов.
Пятый материал: Проблемы с инкрементальностью каналов. Типичные ситуации их возникновения и признаки, которые на них указывают
Какие факторы могут привести к проблемам с инкрементальностью каналов, какие признаки указывают на их наличие.
Далее повествование ведется от лица Захара.
Мы уже выяснили, как неверный расчет юнит-экономики может приводить к недооценке или переоценке рекламного канала и, как следствие, ошибочным маркетинговым решениям. Излишнее масштабирование или остановка канала могут привести к прямой или косвенной потере денег, что, в свою очередь, ведет к упущенным окнам возможностей роста на рынке.
Такие ошибки могут случаться по разным причинам. Одна из наиболее распространенных — команды маркетинга и аналитики не уделяют должного внимания моделям атрибуции, на основе которых принимают решения. Они просто используют доступную в системе аналитики модель атрибуции по умолчанию, либо подбирают модель на старте работы с новым каналом, но не меняют модель по мере развития компании и изменения маркетинг-микса, длины цикла продажи продукта, внешних факторов.
Если вы хотите глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.
→ «Симулятор управления продуктом на основе данных» поможет научиться принимать решения с помощью данных и исследований при создании продукта (путь от 0 к 1).
→ «Симулятор управления ростом продукта» поможет найти пути управляемого роста и масштабирования продукта. Вы построите модель роста и составите стратегию развития продукта (путь от 1 к N).
→ «Симулятор SQL для продуктовой аналитики» поможет освоить SQL и применять его для решения продуктовых и маркетинговых задач.
→ «Симулятор управления ML/AI-проектами» научит применять технологии машинного обучения с пользой для бизнеса.
Не знаете с чего начать? Пройдите бесплатный тест для оценки навыков управления продуктом. Вы определите свои сильные стороны и слепые зоны, получите план профессионального развития.
Еще больше ценных материалов и инсайтов — в телеграм-канале .
Роль модели атрибуции в работе команды маркетинга
Какую задачу решает команда маркетинга
Задача команды маркетинга — наиболее эффективно потратить бюджет, максимизируя целевую метрику роста.
Как и многие маркетологи, я долгое время был убежден, что для решения этой задачи надо открыть отчет о рекламных кампаниях и на его основе принять следующие решения:
- Какие каналы (или кампании) стоит масштабировать;
- Какие можно оставить без изменений;
- Какие лучше остановить.
Мне казалось, что основные возможности по влиянию на результат лежат именно в этой плоскости: поиск и управление каналами, решения по оптимизации на уровне каналов и таргетов, создание и тестирование креативов.
Я мог объяснить все свои решения, принятые на основе данных из отчета. Более того, я был полностью в них уверен. Но по мере роста количества каналов, объема бюджетов и сложности продукта я все чаще начал сталкиваться с аномалиями. Различия между нашими собственными отчетами и отчетами рекламных сетей увеличивались, органика аномально росла, эффективность основных каналов роста падала, хотя интуиция и подсказывала, что они работают хорошо.
Все это навело меня на мысли, что существует скрытая проблема. Она пряталась в слепой зоне, которой я никогда глубоко не интересовался. А насколько точно руководящие моими действиями отчеты описывают реальность?
Почему модель атрибуции часто становится слепой зоной
Слепая зона оказалась на стыке ответственностей двух команд — маркетинга и аналитики.
Команда аналитики когда-то давно построила инфраструктуру и заложила в нее определенную модель атрибуции трафика. На ее основе формировались отчеты для команды маркетинга, которые использовались для принятия решений.
Эти отчеты хорошо работали на раннем этапе. Но продукт, каналы, цели команды и внешние условия постоянно менялись. И в какой-то момент старая модель стала плохо описывать реальность. В цепочке создания ценности командой была слепая зона — пространство, за которым никто не следит, и, как следствие, не понимает, что там происходит.
Замечу, что модель атрибуции — это не единственная слепая зона на стыке маркетинга и аналитики в контексте управления рекламными каналами. Еще есть задачи прогнозирования LTV, правильного определения payback-периода и другие, но эти темы мы рассмотрим в другом материале.
Что такое модель атрибуции и какие задачи она решает
Сперва классическое определение. Модель атрибуции — это набор правил и технических решений, на основе которых вы определяете, к какому каналу отнести привлеченного пользователя или продажу, либо как оценить вклад канала, если он не единственный в цепочке привлечения пользователя.
Принято считать, что модели атрибуции должны оценивать вклад каждого канала в привлечение пользователя или продажу с идеальной точностью, но в реальной практике это невозможно по двум причинам:
- Крайне редко мы располагаем целостной историей взаимодействия пользователя с продуктом в рекламных каналах (например, человек мог увидеть рекламу, но не кликнуть на нее: тогда это взаимодействие для нас будет невидимым).
- Если пользователь взаимодействовал с несколькими каналами, то сложно определить, какой именно канал был решающим на пути к конверсии (в этом случае даже сам пользователь часто не знает реального влияния каждого из рекламных касаний).
Если проблему из второго пункта мы можем пробовать решать математически, распределяя ценность между каналами разными способами, исходя из понимания их важности, то проблему из первого пункта решить нельзя в принципе. Мы не читаем мысли клиентов и не видим мир их глазами.
Хорошая новость в том, что идеальная точность от модели атрибуции на практике и не требуется. У маркетолога не так много вариантов решений, которые он может принять:
- Добавлять бюджеты и масштабировать канал;
- Оставить все как есть;
- Оптимизировать бюджет или остановить канал, так как он убыточен.
Поэтому в большинстве ситуаций более подходящим определением модели атрибуции будет следующее:
Модель атрибуции — это набор правил и технических решений, которые позволяют наиболее эффективно управлять маркетинговыми каналами на основе имеющихся данных в сжатые сроки.
В рамках такого определения модель атрибуции начинает играть роль компаса, а не средства получения точных координат. А для принятия решений надежные ориентиры окажутся эффективнее, чем точные цифры, полученные недостоверным способом (например, путем применения только одной конкретной модели атрибуции).
Для оценки эффективности рекламных каналов модель атрибуции должна эволюционировать вместе с каналами и продуктом
Распространенная ошибка, которую допускают команды (в том числе и мы на раннем этапе) — отсутствие осознанного процесса выбора и изменения модели атрибуции по мере развития продукта и каналов продвижения.
Чаще всего компании берут готовый коробочный продукт и используют модель атрибуции, которая там встроена по умолчанию. При этом они не до конца понимают, насколько хорошо эта модель подходит под специфику их продукта, каналов, бизнес-задачи.
Более тонкая ошибка — команда берет одну из моделей атрибуции в системе аналитики, и она работает достаточно хорошо на раннем этапе, но с течением времени точность описания реальности с помощью этой модели атрибуции падает из-за изменений в маркетинг-миксе и продукте.
Модель атрибуции, используемая для оценки эффективности каналов продвижения, должна эволюционировать, подстраиваясь под специфику и условия конкретной кампании: маркетинг-микс, этап развития продукта, бизнес-задачу, внешние влияния.
Пример эволюции модели атрибуции трафика и способов оценки эффективности рекламных каналов в постоянно изменяющейся ситуации
Давайте начнем с примера, который явно проиллюстрирует ключевую мысль этого материала: модель атрибуции трафика должна эволюционировать при изменениях в других ключевых элементах модели роста. Если этого не происходит, то качество маркетинговых решений снижается.
Пример №1. Продукт с коротким циклом сделки; один канал привлечения
Компания N запустила сервис для покупки кофе по подписке и стала привлекать пользователей через рекламу в Facebook.
↓
Для атрибуции команда использовала Google Analytics и стандартную встроенную модель атрибуции Last Non Direct Click.
При заходе пользователя на сайт модель определяет канал и атрибутирует ему пользователя, если этот канал не Direct (так обозначаются переходы, про которые нет никакой информации. Например, если человек вручную ввел адрес страницы в браузер). Если Google Analytics не смогла определить канал, то она возьмет последний зафиксированный источник трафика (не Direct), из которого пришел пользователь за последние шесть месяцев.
↓
Картина, получаемая с помощью этой модели атрибуции, хорошо описывала реальность, так как большинство пользователей регистрировались и совершали покупку сразу же после перехода по рекламной ссылке.
↓
С учетом полученных данных команда начала масштабировать канал Facebook.
Выбранная модель атрибуции была правильно подобрана под продукт, канал и задачу, что позволило получить взвешенную оценку канала и принять верное решение по его масштабированию.
Пример №2. Рост органики по брендовым запросам
По мере масштабирования платного канала в Facebook, команда стала замечать рост органики из поиска. Анализ показал, что эти пользователи приходят по брендовым поисковым запросам (запросам с названием вашего продукта), которые были прямым или косвенным следствием рекламы в Facebook.
↓
Цель компании — расти максимально быстро. В описанной ситуации старая модель атрибуции стала искажать ситуацию и недооценивать эффективность рекламы в Facebook, теряя людей, которые ее увидели, а спустя время нашли сервис в поиске по брендовому запросу.
↓
Команда решила проанализировать данные с использованием других моделей атрибуции.
Сначала они попробовали оценить эффективность рекламы в Facebook, атрибутируя рекламным кампаниям в социальной сети органический трафик, так как он был косвенным следствием этой рекламы. Других каналов на этот момент в маркетинг-миксе не было.
Они также попробовали использовать внутреннюю модель атрибуции рекламного канала, поскольку у него была более полная история взаимодействия пользователя с рекламным материалом. Facebook знал, что пользователь кликнул или увидел рекламу, и атрибутировал его рекламной кампании, даже если он позже совершал покупку с другого браузера или устройства.
↓
Две новые модели атрибуции дали команде новую перспективу и понимание диапазона эффективности рекламных кампаний.
Первая модель с атрибуцией всей органики каналу Facebook давала максимальную возможную эффективность рекламных кампаний (оценку сверху). Оценка по внутренней модели атрибуции Facebook — промежуточный результат на основе данных, доступных социальной сети (а ей доступно больше данных, чем команде).
Старую модель тоже оставили, чтобы получать нижнюю границу эффективности кампаний.
Теперь у команды была возможность видеть диапазон эффективности разных кампаний на основе трех инструментов, мониторить степень их расхождения и на основе этого понимать, насколько они эффективны в текущей ситуации.
↓
Эти решения позволили по-другому оценить эффективность рекламных кампаний в Facebook и принять решение о продолжении масштабирования канала, что привело к дальнейшему росту компании.
Часто будет хорошим решением использовать несколько моделей атрибуции. Этот подход позволит построить верхнюю и нижнюю границы эффективности канала или кампании, а следовательно — принять взвешенное решение об их оптимизации или масштабировании в контексте ваших бизнес-задач.
Пример №3. Добавление канала Google AdWords
Рост продукта и увеличение трафика по брендовым запросам спровоцировали ответную реакцию конкурентов: они начали выкупать брендовый трафик в Google (покупать рекламу на запросы, где люди ищут ваш продукт).
↓
Команда приняла контрмеры и тоже начала выкупать брендовые запросы по ценам, которые позволили потеснить конкурентов в выдаче. Теперь команда использовала уже два канала, причем один из них подпитывался другим (брендовые запросы в значительной степени были результатом рекламы в Facebook, но также могли быть результатом сарафанного радио или других механизмов, которые с ростом базы активных клиентов становились все более заметными).
↓
Эффективность брендовой рекламы в Google оказалась значительно выше, чем рекламы в Facebook, если верить модели атрибуции, которая использовалась изначально. Некоторые участники команды стали продвигать идеи, что надо перераспределить бюджет между Facebook и Google в пользу последнего, так как ROI там значительно выше.
↓
Но это было бы неправильным решением из-за того, что не был учтен фактор инкрементальности рекламы в поиске.
Проблема инкрементальности заключается в том, что мы не знаем, пришел бы к нам пользователь, атрибутированный рекламе в канале, если бы ее не было. Вполне возможно, что человек, который искал название продукта в Google, перешел бы по первому результату в органической выдаче даже если бы рекламы не было. Но может быть и нет, так как при отсутствии нашей рекламы на странице показалась бы реклама конкурентов.
Более того, поскольку поисковая реклама собирает спрос на продукт, а не порождает его, в цепочке привлечения пользователя точно участвовал как минимум еще один канал (Facebook или, например, сарафанное радио от другого довольного клиента). При анализе канала Google на основе атрибуции Last Click Non Direct этот фактор никак не учитывается.
↓
Модели атрибуции, которые использовались ранее, не решали проблему инкрементальности поисковой рекламы. Иными словами, не учитывали, что она является лишь частью воронки привлечения.
↓
Команда добавила еще одну модель оценки эффективности поисковой рекламы — «шахматку» (об этом методе шла речь в первом материале цикла).
↓
Этот подход позволил оценить инкрементальность канала, получить его объективную эффективность и оптимизировать затраты. В итоге часть платного поискового трафика по бренду реатрибутировалась Facebook. После добавления «шахматки» поисковая реклама стала менее привлекательна.
При увеличении маркетинг-микса возникает проблема инкрементальности каналов. Например, пользователь взаимодействовал с несколькими каналами, но ценность была атрибутирована последнему; при этом был недооценен канал, который порождал спрос на продукт. Тесты на инкрементальность — отличное дополнение к моделям атрибуции, которое позволяет оптимизировать канал.
Пример №4. Усложнение продукта; добавление email-маркетинга и ретаргетинга
Продуктовая команда модернизировала продукт. Теперь можно купить не только кофе по подписке, но и научиться его обжаривать и варить разными способами на офлайн-курсах и мастер-классах от компании.
↓
Решение о покупке мастер-класса или полноценного курса обычно занимает больше времени, чем решение о покупке кофе по подписке (оригинального продукта).
Изменение продуктовой линейки увеличило длину цикла сделки, что, в свою очередь, поменяло процесс привлечения пользователей. Для того чтобы пользователи не забывали о продукте, для тех, кто зашел на сайт, были добавлены ремаркетинг и email-рассылки. Эти каналы оптимизировали конверсию в покупку и помогали закрывать воронку в покупку более сложных и дорогих продуктов.
↓
Увеличение цикла сделки и добавление каналов по оптимизации воронки усложнило процесс оценки эффективности каналов. Ранее используемые модели атрибуции отдавали всю ценность каналам в конце воронки.
Также усложнилась атрибуция органики, так как на нее уже влиял не один канал (Facebook), а несколько. При этом было сложно определить, какое влияние было у каждого из них.
↓
В этой ситуации при использовании старых моделей атрибуции возникло сразу несколько проблем: переоценка каналов, которые были в конце воронки (проблема инкрементальности), и недооценка тех, которые в начале.
Для того чтобы решить эту задачу, команда решила изучить другие модели атрибуции, доступные в Google Analytics и попробовать выбрать подходящие для их конкретного кейса.
Давайте обсудим разные модели атрибуции, которые есть в Google Analytics, и посмотрим, как использование разных моделей будет влиять на картину эффективности разных каналов.
Google Analytics мы используем как пример одной из самых популярных систем аналитики, но модели атрибуции, которые лежат в ее основе, используются и другими подобными решениями.
Как разные модели атрибуции на основе клика влияют на эффективность оценки каналов продвижения
Ниже приведен перечень наиболее распространенных моделей атрибуции, которые применяются в Google Analytics (далее — GA). Существуют и более сложные алгоритмические модели, но на этом этапе мы вынесем их за скобки.
- Last Non-Direct Click. Атрибуция по последнему непрямому переходу, которую ;
- First Interaction. Атрибуция по первому клику;
- Last Interaction. Атрибуция по последнему клику;
- Linear. Линейная атрибуция;
- Time Decay. Атрибуция с учетом давности взаимодействия;
- Position Based (U-Shaped). С привязкой к позиции.
Уточним разницу между прямым и непрямым переходами:
- Прямой переход — посещение сайта, когда пользователь сам вводит его адрес или переходит на него из закладки в браузере;
- Непрямой переход — это переход на сайт из любого канала (поиска, соцсетей, видеорекламы), в том числе по ссылке на стороннем сайте.
Давайте разберем эти модели на примере привлечения одного конкретного пользователя. Мы визуализируем путь конкретного пользователя и применим разные модели атрибуции, чтобы изучить, как они работают.
Выше представлена цепочка взаимодействий конкретного пользователя с рекламными материалами нашего продукта. Первый заход на сайт был в результате рекламы в Facebook, второй в результате email-рассылки, третий — ремаркетинг Google Ads, последний перед покупкой — переход из органического поиска.
Last Non-Direct Click
Эту модель GA использует по умолчанию. Продажа целиком атрибутируется последнему непрямому каналу. В нашем случае это органический поиск.
Почему это может быть верно? Это же последний канал. Логично, что он получает ценность.
Почему это может быть ошибкой? Из визуализации видно, что в привлечении пользователя участвовали и другие каналы. Facebook сформировал спрос, email и ремаркетинг напомнили о продукте, но какой канал был решающим — сказать сложно.
Применение этой модели приведет к недооценке каналов в начале воронки и переоценке органики, которая по сути такой не является. При мультиканальном взаимодействии эта модель сильно искажает реальность, поэтому ее стоит использовать в комбинации с другими моделями.
First Interaction
100% ценности забрал на себя канал таргетированной рекламы в Facebook.
Почему это может быть верно? Именно этот канал привел пользователя первым, а остальные — лишь возвращали его. Если бы не было первого канала, то с некоторой вероятностью не было бы и продажи. То есть, пользователь не зашел бы на сайт, не подписался на рассылку, не попал в списки ремаркетинга, не искал магазин в поиске и не совершил покупки. В итоге, пользователь не узнал бы о существовании нашего магазина.
Почему это может быть ошибкой? Учитывая, что цикл сделки долгий, с большой вероятностью пользователь мог забыть о нашем продукте и не сконвертироваться в подписку. То что Facebook выполнил важную работу, не означает, что другие каналы не внесли свой вклад в привлечение пользователя, а значит — эта модель тоже может сильно переоценить Facebook в рамках маркетинговой задачи по привлечению клиента.
Но если бы задача была в построении знания, то есть оценивалось бы количество клиентов, которые зашли на сайт, а также стоимость такого знакомства, то вполне справедливо было бы большую часть ценности отдать этому каналу и скорректировать другие рекламные каналы в рамках этой задачи.
Пока становится сложнее. Продолжим изучать другие модели.
Linear
Линейная модель равномерно распределила ценность между всеми каналами.
Почему это может быть верно? Мы предполагаем, что все каналы были задействованы в привлечении пользователя, поэтому такое распределение — справедливо. Модель простая в применении и минимизирует урон от недооценки или переоценки каналов.
Почему это может быть ошибкой? Проблема недооценки и переоценки трафика сохраняется. Появляется риск недооценки каналов, которые играли решающую роль в привлечении пользователя, что, в свою очередь, может привести к остановке канала или неправильному масштабированию. А это уже приведет к прямой или косвенной потере денег.
Time Decay
Модель с учетом давности взаимодействия распределила ценность в прогрессии. Чем раньше пользователь взаимодействовал с каналом, тем меньше ценности получает этот канал.
Почему это может быть верно? Людям свойственно забывать то, что они видели давно, поэтому справедливо отдавать больше ценности каналам, которые были в конце и играли решающую роль.
Почему это может быть ошибкой? Именно эти давние каналы могли дать самый существенный вклад в то, чтобы заслужить доверие пользователя и построить с ним отношения, в результате которых он сделал покупку. Недооценка ранних каналов может привести тому, что мы будем излишне оптимизировать каналы, которые формировали спрос на продукт и помогали пройти сложные этапы воронки активации. Это приведет к потере синергии комбинации каналов и ухудшению общего результата.
Position Based
U-образная модель распределяет ценность в пользу тех каналов, которые знакомят пользователя с продуктом и закрывают воронку продажи.
Почему это может быть верно? Совершенно справедливо, что эти каналы сыграли важную роль в истории пользователя, познакомили его с продуктом и закрыли воронку в нужный момент.
Почему это может быть ошибкой? Мы недооцениваем каналы в середине, хотя в сложной воронке они могут играть важную роль. Уменьшение затрат на них может привести к тому, что пользователи будут отваливаться на самом сложном этапе воронки. При этом не будет каналов, которые могут вернуть пользователя и протолкнуть дальше.
Использование нескольких моделей атрибуции позволит очертить границы эффективности канала
Мы рассмотрели ряд вариантов моделей атрибуции на основе клика. У каждой из них есть свои плюсы и минусы. В разных ситуациях разные варианты могут быть более объективными.
Но важно не забывать, что цель модели атрибуции — помочь принять эффективное решение, а не точно распределить ценность пользователя по каналам (это невозможно).
Разные модели атрибуции по-разному отражают действительность. При работе с задачами средней сложности и выше (например, с долгим циклом сделки или несколькими рекламными каналами) использование только одной модели может привести к ложным выводам и ошибочным решениям.
Использование нескольких моделей атрибуции позволяет увидеть ситуацию с разных ракурсов, построить верхнюю и нижнюю границы эффективности каналов в маркетинг-миксе, а следовательно — принять взвешенное решение об их оптимизации или масштабировании в контексте ваших бизнес-задач.
В реальности команды постепенно вырабатывают наиболее эффективные методы принятия решений через эксперименты и наблюдение за влиянием разных решений на общие результаты компании. Такие наблюдения делаются через использование разных моделей атрибуции.
Человеческий мозг достаточно хорошо умеет обучаться и связывать входные данные с итоговым результатом. Вам не обязательно точно знать на какой угол надо повернуть руль автомобиля для того, чтобы объехать препятствие. Аналогично — вам не обязательно знать точную эффективность каждого канала, чтобы уловить взаимосвязи и принять верное решение (как мы обсуждали раньше — вариантов решений не так много).
Факторы, влияющие на выбор моделей атрибуции
Для того чтобы определить перечень моделей атрибуции, подходящих для решения вашей бизнес-задачи, ответьте на следующие вопросы:
- Каков цикл сделки у вашего продукта?
- В чем специфика работы вашего рекламного канала?
- Какое количество каналов вы используете одновременно?
- Какую маркетинговую задачу вы решаете?
Цикл сделки
Понимание цикла сделки помогает оценить, как долго нужно взаимодействовать с пользователем от момента знакомства до момента покупки.
Если у вас короткий цикл сделки, то вам может подойти модель атрибуции по последнему клику (Last Click), так как такое взаимодействие практически всегда будет заканчиваться покупкой.
Но при длинном цикле сделки и миксе из нескольких каналов привлечения такая модель атрибуции не подойдет. Либо ее стоит использовать в комбинации с другими моделями.
Пара примеров:
Короткий цикл сделки. Вы продаете «вау-товары» по низкой цене. Клиент увидел рекламу, перешел по ссылке и сделал покупку. Вы продвигаете казуальную мобильную игру в Facebook и люди устанавливают ее сразу после клика по рекламе.
Длинный цикл сделки. Вы продаете автомобиль. Покупка дорогая, поэтому клиент долго делает выбор, сравнивая между собой разные марки и модели. Вы должны быть постоянно на виду с коммуникацией добавочной ценности, чтобы выбор пал в вашу пользу. Такой цикл предусматривает использование разных рекламных каналов и многократные взаимодействия с пользователем от момента знакомства до покупки, что усложняет оценку влияния конкретного канала.
Специфика работы канала
Каждый канал по-своему влияет на пользователя. Некоторые из них прямо стимулируют пользователя кликнуть по ссылке и перейти на посадочную страницу (например, поисковая реклама или таргетированная реклама в Facebook), а некоторые каналы встраиваются в контент и нативно доносят сообщения о бренде и ценности продукта.
С каналами, где есть явный CTA (призыв к действию) со ссылкой, проще работать. Факт взаимодействия записывается в виде GET-параметра в логи пользователя, сохраняется история взаимодействия. Для оценки таких каналов подойдут большинство моделей атрибуции на основе клика (Click Attribution).
Каналы, которые не дают явной возможности перейти по ссылке, сложно оценивать, поскольку они не оставляют видимого для вас цифрового следа. Для оценки таких каналов классические модели атрибуции на основе кликов не подойдут. Придется использовать другие методы: , опросы после покупки, региональные тесты, тесты с включением и выключением канала. Это тема одной из будущих статей цикла.
Количество каналов
Если вы используете один рекламный канал, вам довольно просто отследить его влияние. Все продажи, скорее всего, будут заслугой этого канала (даже если не все взаимодействия были зафиксированы). Бывают исключения, когда много трафика приходит через реферальные модели или сарафанное радио, но оценить один платный канал по-прежнему не будет сложной задачей.
Если вы используете большое количество каналов, то даже при коротком цикле сделки в привлечении пользователя к покупке могут участвовать несколько из них, что усложняет оценку.
Часто каналы в комбинации усиливают результат друг друга, что тоже сложно поддается измерению. Для таких кейсов лучше использовать несколько моделей атрибуции, чтобы со временем понять реалистичное распределение ценности.
Маркетинговая задача
Команды маркетинга решают разные задачи: продажа товаров, построение знания о бренде, удержание или возврат пользователей, привлечение лидов и множество других. У каждой из этих задач есть своя цель и критерии оценки.
Вот пример. Представим, что ваша задача — вывести новый продукт на рынок. Вам нужно сформировать спрос, а затем собрать его перформанс-каналами. Ваши (неправильные) действия:
- Вы настраиваете медийную рекламу, но оцениваете ее эффективность не по количеству пользователей которые узнали о вас и проявили интерес к продукту, а по количеству покупок которые сгенерировал канал используя модель атрибуции по последнему клику;
- Тактическая оптимизация медийного канала под покупку сразу сделала рекламу неэффективной. Вы будете оптимизироваться под целевое действие, которое идет после возникновения спроса, но спрос еще не сформирован;
- Следствие — знание не построено. Спрос не сформирован. Перфоманс каналам нечего собирать. Задача не выполнена.
Более правильным подходом было бы оптимизировать рекламу под знакомство пользователя с продуктом, используя модель атрибуции по первому клику (First Click). Таким образом вы оптимизировали бы кампанию под людей, которые увидели рекламу и проявили интерес к продукту, зайдя на сайт. При этом затачивать перформанс-каналы на работу с теми пользователями, которые проявили максимальный интерес, и конвертировать этот интерес в целевые действия.
Рассматривать же эффективность этих каналов надо было бы вместе, так как они работали в комбинации.
Одни и те же рекламные каналы могут решать разные маркетинговые задачи, поэтому подбирать модели атрибуции нужно исходя из комбинаций каналов и задач.
Когда надо пересматривать модель атрибуции
Адекватное управление рекламными каналами возможно при условии качественной оценки их эффективности. Выше мы рассмотрели ключевые факторы, которые влияют на оценку эффективности канала:
- Каков цикл сделки у вашего продукта;
- В чем специфика работы вашего рекламного канала;
- Какое количество каналов вы используете одновременно;
- Какую маркетинговую задачу вы решаете.
Понимание этих параметров позволяет примерно определить требования к модели или моделям атрибуции. Изменение этих параметров приводит к тому, что модель атрибуции имеет смысл проверить и при необходимости пересмотреть.
Отдельно полезно следить за рядом показателей и индикаторов, которые могут сигнализировать, что текущая модель атрибуции стала работать менее эффективно.
Вот некоторые из них:
- Сравнение суммы новых пользователей или выручки по каналам с общими показателями компании. Если Overlap каналов превышает 15%, то стоит перепроверить модели атрибуции. Напомню, Overlap — это эффект, который проявляется, когда вы атрибутируете одну продажу нескольким каналам, вследствие чего возникает разница между фактической прибылью, которая у вас есть, и суммой прибыли, атрибутированной разным источникам. Если Overlap превышает 10–15%, это звоночек о том, что ваши каналы начали сильно пересекаться, появились проблемы с инкрементальностью и пора думать об измененни модели атрибуции.
- Резкие изменения и скачки в количестве органических пользователей (высока вероятность, что часть пользователей не атрибутируется своим каналам).
- Различия между моделями атрибуции внутренней системы аналитики и моделями рекламных сетей.
- Ухудшение работы каналов после отключения или сильной оптимизации другого канала.
- Прекращение роста органики при масштабировании канала, порождающего органику.
- Наблюдение за корреляцией каналов без учета их взаимного влияния.
Так или иначе, процесс подбора оптимальной модели атрибуции под текущую ситуацию — процесс экспериментальный. Для того, чтобы получить понимание о происходящем, нужно проводить эксперименты. Например, использовать несколько моделей атрибуции под каждый маркетинг-микс, чтобы получить диапазон значений в результате их применения. Это поможет построить верхнюю и нижнюю границы эффективности каналов.
Но не увлекайтесь слишком сильно работой по созданию идеальной модели атрибуции. Здравый баланс между точностью работы модели, ее эффективностью и скоростью принятия решений критически важен.
- Если для незначительного улучшения модели атрибуции вам нужно потратить много сил и времени, что, в свою очередь, отложит работу по масштабированию перспективного канала — это плохой размен;
- Если же ваша модель не отражает реальности и вы запутались, что работает, а что нет, то инвестиция сил в построение модели атрибуции будет хорошим решением.
Реальный кейс эволюции модели атрибуции
Разберемся на реальном примере нашей компании, как эволюционировал подход к применению различных моделей исходя из потребностей по оценке трафика, которые постоянно менялись.
Напомню, что Letyshops — это кэшбек-сервис. Мы возвращаем пользователям часть потраченных денег с каждой интернет-покупки, а для магазинов выступаем надежным партнером по привлечению и удержанию чувствительных к цене пользователей.
Первая версия модели атрибуции. Построили свою модель атрибуции
На момент запуска продукта мы не очень хорошо разбирались в моделях атрибуции. Поскольку мы больше боялись недооценить канал, чем переоценить, мы приняли решение атрибутировать 100% ценности каждому каналу, который принимал участие в привлечении пользователя.
На старте развития проекта мы масштабировались через один канал роста, а другие еще только тестировали. Пересечение каналов было небольшим. Сценарии, в которых участвовало несколько каналов, как правило, были тестовыми. В частном кейсе нам было проще переоценить канал, чем потерять инсайт, а на более глубокую оценку у нас не было ни времени, ни знаний.
Эта модель помогала отражать реальную ситуацию и масштабироваться. Долгое время мы использовали это решение как основное. При этом мы следили за Overlap, чтобы не столкнуться с проблемой инкрементальности каналов.
Сейчас я могу сказать, что эта модель атрибуции не была идеальной, но ее простота позволила нам быстро принимать решения и масштабироваться на протяжении долгого времени. При этом у нас был индикатор (Overlap), который сигнализировал когда нужно что-то менять.
Вторая версия модели атрибуции. Добавили дополнительную модель
По мере масштабирования маркетинг-микса пересечение каналов росло, а с ним рос и Overlap. Очень быстро он превысил 15%, поэтому мы приняли решение добавить еще одну модель атрибуции.
Мы модифицировали базовую модель GA Last Non-Direct Click до Last Paid Non-Direct Click. Зачем? Весь наш органический трафик был брендовым, а он, в свою очередь, был следствием платных каналов. Поэтому мы решили отдавать всю ценность последнему платному каналу в цепочке.
Эту модель мы добавили к уже существующей. Это позволило оценивать диапазон значений по эффективности канала. Первая модель атрибуции давала оценку сверху, вторая модель давала некий минимальный экстремум эффективности канала.
На основе полученных диапазонов значений мы смогли скорректировать свои решения и уменьшить проблему переоценки некоторых каналов, что позволило высвободить бюджеты для каналов с большей эффективностью.
Третья версия модели атрибуции. Потратили кучу времени на алгоритмические модели атрибуции, но не получили результатов
Долгое время основным драйвером роста Letyshops был YouTube — реклама у инфлюенсеров. Мы делали нативные интеграции и давали ссылки для блогеров без явных признаков рекламы. Первое время (в 2016 году) такой способ трекинга работал хорошо: блогер давал органическую рекомендацию по использованию полезного продукта из личного опыта, люди переходили по ссылкам и регистрировались. Тогда доля людей, которые смотрели YouTube с десктопа была значительно больше, а там такой флоу не составлял большой сложности.
Органика росла, но еще долго нам хватало прежних моделей атрибуции, чтобы оценивать рекламный канал и масштабировать его.
Но затем специфика работы YouTube изменилась. Доля мобильных росла, люди все меньше доверяли блогерам. В какой-то момент доля переходов по ссылкам в описании в результате рекламы у блогера стала существенно меньше. Но при этом после крупных публикаций мы всегда видели резкий рост органики.
Вскоре мы осознали, что картина, которую мы видели через модели атрибуции, была далека от реальности. Мы понимали, что органика — это следствие работы рекламного канала YouTube. Но точно измерить ее долю мы не могли. Маркетинг-микс уже был очень большим, и мы не знали, какой именно вклад в органику делает конкретная кампания на YouTube.
Мы ушли в сложные решения, начав исследовать алгоритмические модели атрибуции ( и ). Но мы забыли об одном важном условии для их работы: у нас должна быть вся история взаимодействия пользователей с каналом. У нас ее не было.
Как я объяснил выше, люди видели рекламу в YouTube, а потом устанавливали приложение или переходили на сайт без использования ссылок под видео. Это делало модели на основе клика бесполезными, даже очень сложные и продвинутые.
В конечном счете мы разобрались с проблемой, запустив тесты канала в новых регионах и оценив соотношение между теми, кто приходит по ссылкам под видео и теми, кто приходит другими путями. Об этом кейсе я упоминал в предыдущем материале цикла.
Следующие версии. Инкрементальность, влияние рекламы на старых пользователей и другие эффекты
Я не буду подробно останавливаться на будущих изменениях в нашей модели атрибуции, так как они специфичны тому, как устроен наш продукт (четыре платформы — iOS, Android, Desktop, Extension) и сложный маркетинг-микс на бюджете в миллионы долларов в год.
Но изменения на разных уровнях вынуждали нас менять модели атрибуции регулярно: это постоянный процесс.
Например, в определенный момент мы заметили, что реклама в YouTube не только приводит новых пользователей, но и оживляет старых (это проявилось в эффекте на старых когортах). Возник вопрос — как правильно отразить эту ценность при оценке инвестиций в канал?
Затем крупные платформы стали ограничивать возможности для адекватного трекинга, что вновь вынудило нас пересматривать используемые модели атрибуции.
Другой пример — с ростом продукта и его известности, а также доли каналов без прямого клика проблема инкрементальности стала еще более актуальной. И для ее решения пришлось прибегнуть к использованию моделей атрибуции рекламных систем, проведению специальных экспериментов.
Заключение. Ключевые мысли
Оценка эффективности рекламных каналов — задача на стыке зон ответственности маркетинга и аналитики, поэтому ее стоит решать сообща, ставя во главу угла решаемую бизнес-задачу.
Модель атрибуции должна эволюционировать, подстраиваясь под меняющуюся среду. В выборе модели помогут ответы на следующие вопросы:
- Каков цикл сделки у вашего продукта?
- В чем специфика работы вашего рекламного канала?
- Какое количество каналов вы используете одновременно?
- Какую маркетинговую задачу вы решаете?
Вот что нужно делать, чтобы вовремя перепроверять и пересматривать модель атрибуции:
- Обращайте внимание на органику: под нее часто маскируются платные каналы. Органика может быть индикатором того, что ваши модели атрибуции перестали давать объективную оценку происходящего.
- Обращайте внимание на Overlap. Если он превышает 10–15%, это звоночек о том, что ваши каналы начали сильно пересекаться, у вас появились проблемы с инкрементальностью, а значит — пора думать об изменении модели атрибуции и проведении тестов на инкрементальность.
- Учитывайте изменения внешней среды. В cookieless-мире или в условиях отказа от IDFA на iOS правила меняются. История взаимодействия пользователя с рекламными каналами будет все тоньше, а классические модели будут становиться все менее точными.
- Обращайте внимание на изменения и скачки в количестве органических пользователей (высока вероятность, что часть пользователей не атрибутируется своим каналам).
- Обращайте внимание на различия между моделями атрибуции внутренней системы аналитики и моделями рекламных сетей.
- Обращайте внимание на ухудшение работы каналов после отключения или сильной оптимизации другого канала.
Разные модели атрибуции в той или иной степени отражают действительность и позволяют взглянуть на ситуацию с новых ракурсов, что повышает шансы принять правильное решение. Нужно пробовать разные модели атрибуции. Различные комбинации каналов будут давать различную синергию. Найти оптимальную модель можно только экспериментальным путем.
Стремление к полноте данных о пользователе и истории его соприкосновения с рекламируемым брендом или продуктом — важное условие адекватной оценки. При этом мы не обладаем абсолютной полнотой данных, что делает невозможным точное решение задачи по оценке вклада канала в привлечения пользователя.
Учитывайте инкрементальность при работе с моделями атрибуции. Без этого велик риск переоценить канал и потерять деньги.
Помните, модель атрибуции не нужно рассматривать как средство получения точных данных о распределении ценности по каналам — это часто невозможно. Модель атрибуции — это компас, а не средство получения точных координат. Для решения бизнес-задачи надежные ориентиры эффективнее, чем точные цифры, полученные недостоверным способом.
***
Вы прочитали материал, подготовленный GoPractice и , CMO Letyshops.
Если вы хотите глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.
→ «Симулятор управления продуктом на основе данных» поможет научиться принимать решения с помощью данных и исследований при создании продукта (путь от 0 к 1).
→ «Симулятор управления ростом продукта» поможет найти пути управляемого роста и масштабирования продукта. Вы построите модель роста и составите стратегию развития продукта (путь от 1 к N).
→ «Симулятор SQL для продуктовой аналитики» поможет освоить SQL и применять его для решения продуктовых и маркетинговых задач.
→ «Симулятор управления ML/AI-проектами» научит применять технологии машинного обучения с пользой для бизнеса.
Не знаете с чего начать? Пройдите бесплатный тест для оценки навыков управления продуктом. Вы определите свои сильные стороны и слепые зоны, получите план профессионального развития.
Еще больше ценных материалов и инсайтов — в телеграм-канале .
Оглавление цикла
Первый материал: Ошибки при расчете ROI и юнит-экономики. Влияние моделей атрибуции и инкрементальности на ROI в маркетинге
Почему при расчете ROI и юнит-экономики нельзя игнорировать влияние используемых моделей атрибуции и инкрементальности рекламы.
Второй материал: Модели атрибуции трафика. Почему модель атрибуции должна изменяться вместе с каналами продвижения, продуктом, маркетинговой задачей и внешней средой [вы здесь]
Как подбирать модели атрибуции для оценки эффективности рекламных каналов исходя из специфики продукта, маркетинг-микса, бизнес-задачи и условий внешней среды; почему надо пересматривать и адаптировать модель атрибуции в случае изменений этих факторов.
Третий материал: Способы атрибуции рекламы без явного касания или клика
Как атрибутировать рекламу, если в маркетинг-миксе есть каналы, где сложно или невозможно зафиксировать касание пользователя с рекламой: альтернативные способы и их внедрение.
Четвертый материал: Инкрементальность рекламы. Как оценить истинное влияние рекламных каналов на рост продукта
Что такое инкрементальность в маркетинге, чем она отличается от модели атрибуции, какие индикаторы указывают на наличии проблем с инкрементальностью. Подходы к проведению инкрементальных тестов в разных условиях, калибровка модели атрибуции и всей системы оценки эффективности рекламных каналов.
Пятый материал: Проблемы с инкрементальностью каналов. Типичные ситуации их возникновения и признаки, которые на них указывают
Какие факторы могут привести к проблемам с инкрементальностью каналов, какие признаки указывают на их наличие.
