ᐈ Анализ ROI. Ошибки при расчете ROI и юнит-экономики

GoPractice открывает серию материалов о том, как влиять на рост продуктов через эффективное управление маркетинговыми каналами.

Оглавление цикла

Первый материал: Ошибки при расчете ROI и юнит-экономики. Влияние моделей атрибуции и инкрементальности на ROI в маркетинге [вы здесь]

Почему при расчете ROI и юнит-экономики нельзя игнорировать влияние используемых моделей атрибуции и инкрементальности рекламы.

Второй материал: Модели атрибуции трафика. Почему модель атрибуции должна изменяться вместе с каналами продвижения, продуктом, маркетинговой задачей и внешней средой

Как подбирать модели атрибуции для оценки эффективности рекламных каналов (ROI) исходя из специфики продукта, маркетинг-микса, бизнес-задачи и условий внешней среды; почему надо пересматривать и адаптировать модель атрибуции в случае изменений этих факторов.

Третий материал: Способы атрибуции рекламы без явного касания или клика

Как атрибутировать рекламу, если в маркетинг-миксе есть каналы, где сложно или невозможно зафиксировать касание пользователя с рекламой: альтернативные способы и их внедрение.

Четвертый материал: Инкрементальность рекламы. Как оценить истинное влияние рекламных каналов на рост продукта

Что такое инкрементальность в маркетинге, чем она отличается от модели атрибуции, какие индикаторы указывают на наличии проблем с инкрементальностью. Подходы к проведению инкрементальных тестов в разных условиях, калибровка модели атрибуции и всей системы оценки эффективности рекламных каналов.

Пятый материал: Проблемы с инкрементальностью каналов. Типичные ситуации их возникновения и признаки, которые на них указывают

Какие факторы могут привести к проблемам с инкрементальностью каналов, какие признаки указывают на их наличие.

Посчитать ROI маркетинговых каналов (юнит-экономику) при условии идеального трекинга и атрибуции очень просто. Но в реальном мире идеального трекинга и атрибуции не бывает.

Расчет ROI (юнит-экономики) без понимания особенностей используемых методов атрибуции, специфики каналов и проблемы инкрементальности трафика ведет к одной из двух ошибок:

Команда недооценивает канал и не использует его в полной мере;
Команда переоценивает канал (это называют инкрементальностью) и теряет на нем деньги.

Эти ошибки совершают очень многие команды. Мы совершили их и сами в процессе масштабирования кэшбек-сервиса. Благодаря полученному опыту, теперь я могу поделиться соображениями о том, как идентифицировать эти ошибки и избежать их.

Если вы хотите глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.

→ «Симулятор управления продуктом на основе данных» поможет научиться принимать решения с помощью данных и исследований при создании продукта (путь от 0 к 1).

→ «Симулятор управления ростом продукта» поможет найти пути управляемого роста и масштабирования продукта. Вы построите модель роста и составите стратегию развития продукта (путь от 1 к N).

→ «Симулятор SQL для продуктовой аналитики» поможет освоить SQL и применять его для решения продуктовых и маркетинговых задач.

→ «Симулятор управления ML/AI-проектами» научит применять технологии машинного обучения с пользой для бизнеса.

Не знаете с чего начать? Пройдите бесплатный тест для оценки навыков управления продуктом. Вы определите свои сильные стороны и слепые зоны, получите план профессионального развития.

Еще больше ценных материалов и инсайтов — в телеграм-канале GoPractice.

Два типа ошибок при расчете ROI и юнит-экономики из-за неучета инкрементальности и особенностей моделей атрибуции

Модель атрибуции — это набор правил и технических решений, на основе которых вы определяете, к какому каналу отнести привлеченного пользователя или продажу.

Для оценки объективной эффективности канала важно понимать, как именно для вашего продукта и используемого рекламного канала работает выбранная модель атрибуции.

Для каждого набора «канал + продукт + модель атрибуции» будут свои особенности, которые важно учитывать. Многие команды этого не осознают, что ведет к ошибкам в оценке эффективности канала (расчете ROI и юнит-экономики).

Различные модели атрибуции будут по-разному влиять на точность оценки эффективности рекламных каналов для тех или иных продуктов. В некоторых случаях они будут приводить к недооценке канала, в других — переоценке. И то, и другое будет приводить к потере денег.

Проблема переоценки эффективности канала (ROI) или проблема инкрементальности

В последнее время проблему переоценки эффективности канала часто стали называть «проблемой инкрементальности».

Проблема инкрементальности — это ситуация, когда вы атрибутируете определенной рекламной кампании целевые действия (установки, покупки), которые произошли бы и без этой рекламной кампании.

Такая переоценка эффективности канала происходит, например, когда вы покупаете свою органику. Либо когда новый пользователь оказывается атрибутирован сразу нескольким рекламным каналам.

Рассмотрим простой пример. Я захотел «бигмак» и направился в ближайший «Макдональдс». По пути я увидел рекламу «бигмака». Но это никак на меня не повлияло, ведь я и так хотел его купить. В цифровом же мире моя будущая покупка «бигмака» будет атрибутирована этой рекламе. Из-за этого при анализе рекламного канала его эффективность будет переоценена (рассчитанный ROI будет больше, чем реальный), что может привести к потере денег при его масштабировании.

Проблема недооценки эффективности канала (ROI)

Большинство маркетологов боятся переоценить эффективность канала, ведь это ведет к потере денег. Но недооценка канала не менее опасна: косвенным образом она тоже ведет к потере денег.

Недооценка канала происходит, когда часть пользователей, которые пришли в результате рекламы, оказываются не атрибутированы кампании. Из-за этого ROI оказывается меньше, чем есть на самом деле. Кампания выглядит менее эффективной, чем на самом деле является.

Это ведет к неправильному расчету юнит-экономики и, как следствие, ошибкам в уровне агрессивности при масштабировании канала или вообще отказу от его использования. Следствие: упущенные возможности роста и открытие лазеек для конкурентов.

Как «правильный» расчет ROI и юнит-экономики привел к упущенным возможностям из-за недооценки эффективности канала из-за особенностей модели атрибуции

В определенный момент работы над кэшбек-сервисом мы достигли product/market fit. Мы создали кэшбэк-сервис, который позволяет возвращать часть потраченных денег при покупках онлайн. Продукт эффективно решал задачу экономии в шопинге, что обеспечило хороший retention пользователей.

Мы также нашли эффективный канал роста через блогеров в YouTube. Первые тесты показали, что юнит-экономика канала сходится (ROI > 0) — мы окупаем инвестиции, сделанные в рекламу в горизонте полугода.

Так мы поставили команде маркетинга задачу масштабировать канал со следующими ограничениями:

ROI > 0;
Время возврата инвестиций — 6 месяцев.

Канал блогеров на YouTube стал одним из главных драйверов роста нашего кэшбек-сервиса и дал прекрасные результаты. Но лишь спустя время мы поняли, что из-за особенностей модели атрибуции мы ошибались в оценке эффективности канала. И это помешало использовать его потенциал в полной мере.

Сейчас сложно оценить масштаб упущенных возможностей, но они огромны. Если бы мы не допустили ошибок с оценкой эффективности канала, то сегодня слово «кэшбек» ассоциировалось бы с нашим сервисом, а не банками или мобильными операторами. Мы были одними из первых, кто создал подобный продукт, но не реализовали в полной мере возможность.

Как специфика модели атрибуции повлияла на расчет ROI и помешала использовать потенциал канала

Когда мы стали активно размещать рекламу у блогеров на YouTube, то наш кэшбек-сервис начал быстро расти.

Канал блогеров на YouTube идеально подходил под наш продукт и решал сразу несколько задач

Блогеры онбордили пользователей в продукт на уровне рекламы. Причем делали это лучше, чем наши welcome-материалы и другие рекламные источники;
Блогеры раскрывали суть бизнес-модели. В 2016 году было сложно объяснить что такое кэшбек и откуда берутся эти деньги;
Рекомендательная модель снижала недоверие к продукту. Блогер делился своим социальным капиталом с нашим брендом, тем самым понижая порог входа в продукт.

Юнит-экономика была отличной. Все что нам оставалось — нанимать людей в команду и масштабировать закупку рекламы. Увы, эйфория длилась не слишком долго.

При масштабировании канала его эффективность начала падать. По мере того, как мы покрывали все большее количество блогеров в канале, релевантность новых рекламных кампаний постепенно снижалась. Ключевым ограничивающим фактором стало требование к окупаемости инвестиций в 6 месяцев. Растить объемы с этим ограничением становилось все сложнее.

Мы долго искали решения в подходах к реализации рекламных кампаний и созданию новых креативов, экспериментах с новыми каналами. Но точка роста лежала в совсем другой плоскости.

Проблема была в том, как мы оценивали эффективность канала с помощью используемой у нас модели атрибуции. Мы по умолчанию оценивали результаты рекламных кампаний изолированно от других каналов и использовали модель атрибуции Last Paid Click на базе UTM-меток. В результате этого большая часть пользователей, которая приходила через рекламу у блогера, не атрибутировалась рекламной кампании, а юнит-экономика канала выглядела хуже, чем была на самом деле.

Из-за этого мы отказывались от рекламы у блогеров, где при расчете ROI на основе имеющихся у нас данных мы не получали соответствия критериям выше. Как оказалось потом, в реальности большинство из этих кампаний им соответствовали. Просто мы неправильно считали эффективность канала.

Как мы заметили проблему недооценки эффективности канала при расчете ROI

Проблема в качестве атрибуции трафика стала очевидна, когда мы стали анализировать количество новых пользователей, которые приходили органически.

При качественной и эффективной атрибуции количество новых органических пользователей ведет себя достаточно предсказуемо — в этом канале нет большой волатильности при отсутствии явных внешних факторов (анонс, пиар).

Но у нас график вел себя иначе. Стало понятно, что в органику записываются пользователи, которые приходят из других каналов.

Но даже осознав проблему, мы не смогли быстро посчитать объективную ценность канала YouTube-блогеров. Мы пробовали применять разные модели атрибуции, но у нас никак не получалось точно определить поправочный коэффициент.

Дело в том, что к этому моменту параллельно работали и другие крупные каналы — оценить влияние каждого на органику было сложно. Более того, реклама у блогеров в YouTube имеет длинный хвост (люди продолжают смотреть ролик длительное время после выхода), что затрудняет оценку эффективности новых кампаний.

Решением стал запуск изолированного эксперимента в другом регионе, что помогло определить поправочный коэффициент. На него мы стали умножать результаты рекламных кампаний, затреканных по рекламным ссылкам.

Коэффициент оказался значительно больше 1, мы трекали далеко не все результаты. Это значит, что мы могли быть в разы более агрессивны при закупке рекламы в канале. Разумеется, мы стали использовать новое знание, но окно возможностей было упущено.

Окно возможностей в канале. Или почему надо агрессивно использовать незащищенные каналы роста

Пока мы искали реальный поправочный коэффициент, конкуренция в канале выросла.

Появились непрямые конкуренты, которые начали покупать рекламу у блогеров в YouTube. Это повлияло на ее стоимость и, как следствие, на объем трафика, который мы могли закупить.

В скором времени в канале появились и прямые конкуренты, которые не только боролись за рекламный инвентарь, но и создавали конкуренцию на уровне решаемой задачи, что снижало силу product/market fit.

Неправильный расчет юнит-экономики из-за неэффективной модели атрибуции привел к тому, что мы не использовали канал в полной мере, хотя одними из первых нашли его и заставили работать для нашего продукта. Такие возможности конечны, поэтому — вы либо быстрый стартап, либо мертвый стартап.

Ситуации и каналы, где возникает проблема недооценки ROI, и способы решения проблемы

Проблема недооценки рекламных каналов возникает в следующих ситуациях.

Продвижение продуктов с длинным циклом продажи. Например, если вы разрабатываете сложный SaaS-продукт, люди могут много раз взаимодействовать с продуктом в результате рекламы в разных каналах. Но при использовании Last Click-атрибуции вся ценность будет отнесена последнему рекламному касанию, либо вовсе записана в органику.

Кросс-девайсный разрыв. Например пользователь увидел с мобильного вашу рекламу в YouTube и перешел по рекламной ссылке на посадочную страницу на вебе: все хорошо, в базу записались UTM-метки, но затем пользователь увидел ссылку на установку приложения, зашел в стор и установил его. В итоге пользователь попадет в мобильную органику, а не атрибутируется каналу YouTube.

При большом маркетинг-миксе. В этом случае часть каналов может переоцениваться, а часть недооцениваться, что будет вести к неверному распределению бюджетов.

С какими источниками возникают проблемы недооценки ROI

Обычно проблема недооценки эффективности возникает в каналах, где нет явного призыва перейти по рекламной ссылке или же канал является промежуточным шагом в длинной цепочке продаж:

Реклама на ТВ
Реклама на радио
Реклама в YouTube у блогеров
Реклама в подкастах
Медийная реклама с отложенным эффектом.
Контент-маркетинг
PPC + контент-маркетинг
Контент-маркетинг + SEO
PPC + отдел продаж
Контент-маркетинг + отдел продаж

При использовании этих каналов стоит обращать внимание на органику. Часто под «органическими» пользователями маскируются другие каналы.

Также стоит обращать внимание на работу каналов в комбинации. Если при запуске медийной рекламы в миксе с другими performance-каналами результаты последних улучшаются, это тоже звоночек, что оценку эффективности медийки стоит пересмотреть.

Вектор решения проблемы — подбор оптимальных моделей атрибуции под каждый канал

Распространенная ошибка многих команд — пытаться искать единую модель атрибуции, которая будет работать для всех каналов. Но серебряных пуль не существует.

Нет единой модели атрибуции, которая поможет оценить эффективность всех каналов. Слишком уж разная у них специфика. Более эффективный подход — нарабатывать решения под отдельные каналы трафика.

Ниже будут приведены высокоуровневые описания возможных путей решения проблемы для разных каналов. Более подробно мы их рассмотрим в следующем материале цикла.

Какие подходы можно использовать для разных каналов:

Facebook, Instagram, Criteo. Можно использовать встроенные модели атрибуции в рекламных кабинетах, но надо обязательно проводить тесты на инкрементальность, чтобы не переоценить их эффективность (об этом подробнее в следующей части эссе);
Реклама у блогеров в YouTube, Instagram или TikTok. Промокоды или отдельные посадочные страницы, спайк-анализ, опросники после целевого действия, запуск тестов в разных ГЕО;
ТВ. Спайк-анализ, Brand Awareness, опросники после целевого действия;
Email-маркетинг. A/B-тесты с выделенной группой.

Помимо упомянутых моделей атрибуции есть алгоритмические и вероятностные модели. Про них тоже подробнее поговорим в другом материале.

Стоит помнить, что у каждого из предложенных способов есть свои плюсы и минусы, поэтому стоит подбирать вариант решения под источник в комбинации со спецификой вашего продукта.

Как «правильный» расчет ROI и юнит-экономики приводит к потере денег в канале из-за переоценки эффективности канала (проблема инкрементальности)

Выше я поделился кейсом недооценки канала, но часто встречается обратный эффект — переоценка эффективности канала роста. Часть пользователей, которые атрибутировались определенному источнику, на самом деле не пришли в результате этой рекламы.

В таких ситуациях маркетологи говорят о проблеме «инкрементальности рекламных кампаний» — какая часть полученных пользователей пришла именно из-за рекламы.

Пример проблемы инкрементальности при покупке контекста на свой бренд

Практически каждый продукт закупает контекстную рекламу на свой бренд. Обычно это делают из-за того, что по брендовым запросам любят крутиться конкуренты. Иногда же это делают веб-мастера, если у вас есть партнерская программа, перепродавая вам вашу же органику.

ROI таких компаний при классическом расчете юнит-экономики очень хороший — по брендовым запросам приходит самый целевой трафик. Но если принимать решения на основе этих цифр, то велик шанс потерять деньги.

Может быть вы просто платите за тех, кто пришел бы и так, перейдя по первой ссылке в органическом поиске? Или все же конкурент мог бы купить рекламу и перехватить их с помощью рекламного размещения?

Это можно проверить с помощью «шахматки».

Использование «шахматки» для оценки инкрементальности покупки контекстной рекламы на брендовые запросы

Для разных каналов подходы к оценке инкрементальности будут разными. Но в случае покупки брендового контекста есть простой и эффективный способ — «шахматка».

Суть этого способа в том, что в один день вы включаете рекламу, а в другой — нет. И повторяете это в течение длительного периода времени. Иногда используют другой интервал времени, например, час.

Спустя месяц вы считаете количество новых пользователей, которые пришли органически и по брендовому контексту в динамике по дням. Разница между результатами в дни, когда реклама крутилась, и в дни, когда ее не было, покажет реальное количество дополнительных пользователей в результате такой рекламы.

Такое упражнение, скорее всего, покажет, что реальный ROI контекстной рекламы на бренд значительно ниже того, что вы видите при «правильном» расчете юнит-экономики. Вполне возможно, что вам будет выгодно отключить этот канал или же оставить «шахматку» на постоянной основе, чтобы тратить на рекламу меньше и при этом мониторить ситуацию по брендовым поисковым запросам, так как она может меняться.

Проблема переоценки покупки рекламы на брендовые запросы очень коварна. Иногда такие запросы попадают внутрь других рекламных кампаний и из-за них эти кампании выглядят намного лучше, чем они есть на самом деле. Поэтому стоит отделять покупку брендового контекста в отдельные кампании и внимательно оценивать их инкрементальность.

Некоторые каналы наиболее подвержены проблеме инкрементальности. Способы решения этой проблемы

Проблема инкрементальности каналов стоит наиболее остро в ситуациях, когда вы используете много рекламных каналов или у вас сильный бренд.

При использовании большого маркетинг-микса на крупных бюджетах один пользователь может оказаться атрибутирован сразу нескольким каналам. Такой эффект называется overlap. Если разница между фактической прибылью, которая у вас есть, и суммой прибыли, атрибутированной разным источникам, превышает 10-15%, то стоит начать исследовать эту проблему.

Переоценка каналов часто возникает у продуктов с сильным брендом. В такой ситуации большое количество людей знают о вашем продукте и в какой-то момент принимают решение им воспользоваться в результате триггера, который напрямую не связан с вашей текущей активностью. Если вы при этом активно крутите рекламу, то велика вероятность случайно зацепить таких пользователей. В этом случае все заслуги по привлечению пользователя заберет на себя случайный рекламный канал.

Какие каналы наиболее подвержены проблеме переоценки ROI (инкрементальности)

Проблеме инкрементальности подвержены каналы с большими охватами, где возникает вероятность случайно зацепить пользователя, который и так был готов купить или начать использовать продукт. Обычно это (но не только):

Реклама в онлайн-кинотеатрах, которую необходимо посмотреть для доступа к контенту;
Реклама в Facebook, Instagram, а также прероллы в YouTube при использовании Post View атрибуции. В Facebook вам достаточно просто увидеть рекламу в ленте, чтобы быть атрибуцированным кампании при использовании Post View модели атрибуции.
Кликандеры — часто используемый канал. Он встречается на контентных ресурсах, у которых ограниченные способы монетизации. Пример: вы «гуглите» информацию, которая вас интересует, переходите на сайт из поисковой выдачи, но, помимо самого сайта, у вас открывается еще одна вкладка с сайтом рекламодателя.
In-App трафик — реклама в бесплатных приложениях, где нужно просмотреть рекламу, чтобы получить доступ к функционалу;
Ремаркетинг — у этого канала часто маленькая инкрементальность, так как он таргетируется на аудиторию, которая уже знает о вашем продукте или уже использовала его, но по какой-то причине перестала это делать. При этом велика вероятность, что эти пользователи органически вернутся. Но при правильном подходе и работе с сегментами этот инструмент может быть достаточно эффективным.
Email-маркетинг — почти бесплатный рекламный канал для бизнеса. Часто его используют в цепочке с другими. При неправильном анализе он может «перетягивать» на себя результат, что будет влиять на объективность оценки эффективности канала.

Проблема инкрементальности и фрод

Проблема инкрементальности порождает много возможностей для фрода и обмана.

Недобросовестные партнеры могут запускать контекст на бренд и ставить свою реферальную ссылку, перепродавая вам вашу же органику.

Недобросовестное агентство может запустить рекламную кампанию в Facebook с целью максимального охвата и использовать Post View Attribution. Их цель — поймать максимальное количество людей, которые и так установили бы приложение или купили продукт, но при этом атрибутировать этот результат себе за счет показа им рекламы перед совершением целевого действия. Инкрементальность такой кампании будет минимальна, хотя юнит-экономика может прекрасно сходиться.

Фрод и обман, замаскированный проблемой инкрементальности, проявляется в большом количестве вариаций в разных каналах.

Подходы к оценке инкрементальности рекламных кампаний и решению проблемы переоценки ROI канала

Подходы к решению проблемы переоценки канала похожи на те, которые были предложены выше в случае с недооценкой.

Тесты на инкрементальность в рекламных сетях, где это возможно (Facebook, Criteo);
Запуск рекламы на часть аудитории с изолированной контрольной группой;
Запуск рекламы в отдельном регионе, который затем можно сравнить с похожим регионом по поведению, где рекламы не было;
Включение и выключение рекламных каналов с целью понаблюдать за изменениями общего результата и результата отдельных каналов (с учетом сезонности и продуктовых изменений);
Использование алгоритмических моделей атрибуции (цепи Маркова, векторы Шепли);
Использование вероятностных моделей атрибуции.

Способов решения проблемы переоценки канала больше, чем я упомянул, но важно понимать, что подойдет именно вам в связке с вашим продуктом. Стоит помнить, что сложность решения не равна его эффективности. Примеры таких случаев мы рассмотрим в другом материале.

Основные выводы. Юнит-экономику, методы атрибуции и инкрементальность каналов нельзя рассматривать изолированно

В мире с идеальной атрибуцией посчитать юнит-экономику очень просто. Но в реальном мире такого не бывает. Разные модели атрибуции будут давать разную эффективность для разных продуктов в разных каналах. Поэтому считать юнит-экономику в изоляции от вопроса используемой модели атрибуции, ее эффективности и инкрементальности канала нельзя.

Некоторые команды не знают, с какой моделью атрибуции они работают, так как просто используют ту, что по умолчанию стоит в системе аналитики, которую они используют. Другие же делают выбор неосознанно и поэтому не знают, какую эффективность эта модель дает в разных каналах роста.

Разные модели атрибуции имеют свои плюсы и минусы, подходят для разных каналов и имеют различное влияние на проблему инкрементальности и мисатрибуции трафика. Выбранные нами модели атрибуции лишь частично помогали увидеть ценность каналов, что помешало правильному расчету юнит-экономики YouTube. Это сильно ограничивало команду и привело к упущенному окну возможностей.

В этом материале мы разобрали проблемы недооценки или переоценки рекламного канала при расчете юнит-экономики из-за неучета модели атрибуции и инкрементальности.

В следующем материале мы подробнее обсудим, как эти проблемы можно решать для разных каналов и продуктов путем подбора эффективных моделей атрибуции и оценки инкрементальности рекламных кампаний.

Если вы хотите глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.

→ «Симулятор управления продуктом на основе данных» поможет научиться принимать решения с помощью данных и исследований при создании продукта (путь от 0 к 1).

→ «Симулятор управления ростом продукта» поможет найти пути управляемого роста и масштабирования продукта. Вы построите модель роста и составите стратегию развития продукта (путь от 1 к N).

→ «Симулятор SQL для продуктовой аналитики» поможет освоить SQL и применять его для решения продуктовых и маркетинговых задач.

→ «Симулятор управления ML/AI-проектами» научит применять технологии машинного обучения с пользой для бизнеса.

Не знаете с чего начать? Пройдите бесплатный тест для оценки навыков управления продуктом. Вы определите свои сильные стороны и слепые зоны, получите план профессионального развития.

Еще больше ценных материалов и инсайтов — в телеграм-канале GoPractice.

Оглавление цикла

Как подбирать модели атрибуции для оценки эффективности рекламных каналов исходя из специфики продукта, маркетинг-микса, бизнес-задачи и условий внешней среды; почему надо пересматривать и адаптировать модель атрибуции в случае изменений этих факторов.

Третий материал: Способы атрибуции рекламы без явного касания или клика