Всё по теме: Продуктовая аналитика

Захар Сташевский, CMO Letyshops, вместе с GoPractice продолжает серию материалов о том, как влиять на рост продуктов через эффективное управление рекламными каналами. 

Из этого материала вы узнаете что такое инкрементальность в маркетинге, чем она отличается от модели атрибуции, какие индикаторы указывают на наличии проблем с инкрементальностью. 

Мы разберем подходы к проведению инкрементальных тестов в разных условиях и обсудим, как калибровать модели атрибуции и всю систему оценки эффективности рекламных каналов на основе полученных знаний.

***

Если вы хотите глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.

• «Симулятор управления продуктом на основе данных» поможет научиться принимать решения с помощью данных и исследований при создании продукта (путь от 0 к 1).

• «Симулятор управления ростом продукта» поможет найти пути управляемого роста и масштабирования продукта. Вы построите модель роста и составите стратегию развития продукта (путь от 1 к N).

Еще больше ценных материалов и инсайтов — в телеграм-каналах GoPractice и GoPractice Insights. Добавляйтесь в чат Ask Kevin!, чтобы участвовать в обсуждениях с другими участниками нашего коммьюнити.

***

Захар Сташевский, CMO Letyshops, вместе с GoPractice продолжает серию материалов о том, как влиять на рост продуктов через эффективное управление рекламными каналами. 

Из этого материала вы узнаете об альтернативных способах атрибуции пользователей в случаях, когда в маркетинг-миксе есть каналы, в которых сложно или невозможно зафиксировать касание пользователя с рекламой.

Захар Сташевский, CMO Letyshops, вместе с GoPractice продолжает серию материалов о том, как влиять на рост продуктов через эффективное управление рекламными каналами. 

Оглавление цикла

Первый материал: Ошибки при расчете ROI и юнит-экономики. Влияние моделей атрибуции и инкрементальности на ROI в маркетинге 

Почему при расчете ROI и юнит-экономики нельзя игнорировать влияние используемых моделей атрибуции и инкрементальности рекламы. 

Второй материал: Модели атрибуции трафика. Почему модель атрибуции должна изменяться вместе с каналами продвижения, продуктом, маркетинговой задачей и внешней средой [вы здесь]

Как подбирать модели атрибуции для оценки эффективности рекламных каналов исходя из специфики продукта, маркетинг-микса, бизнес-задачи и условий внешней среды; почему надо пересматривать и адаптировать модель атрибуции в случае изменений этих факторов.

Третий материал: Способы атрибуции рекламы без явного касания или клика

Как атрибутировать рекламу, если в маркетинг-миксе есть каналы, где сложно или невозможно зафиксировать касание пользователя с рекламой: альтернативные способы и их внедрение.

Четвертый материал: Инкрементальность рекламы. Как оценить истинное влияние рекламных каналов на рост продукта

Что такое инкрементальность в маркетинге, чем она отличается от модели атрибуции, какие индикаторы указывают на наличии проблем с инкрементальностью. Подходы к проведению инкрементальных тестов в разных условиях, калибровка модели атрибуции и всей системы оценки эффективности рекламных каналов.

Далее повествование ведется от лица Захара.

Мы уже выяснили, как неверный расчет юнит-экономики может приводить к недооценке или переоценке рекламного канала и, как следствие, ошибочным маркетинговым решениям. Излишнее масштабирование или остановка канала могут привести к прямой или косвенной потере денег, что, в свою очередь, ведет к упущенным окнам возможностей роста на рынке.

Такие ошибки могут случаться по разным причинам. Одна из наиболее распространенных — команды маркетинга и аналитики не уделяют должного внимания моделям атрибуции, на основе которых принимают решения. Они просто используют доступную в системе аналитики модель атрибуции по умолчанию, либо подбирают модель на старте работы с новым каналом, но не меняют модель по мере развития компании и изменения маркетинг-микса, длины цикла продажи продукта, внешних факторов. 

***

Если вы хотите глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.

• «Симулятор управления продуктом на основе данных» поможет научиться принимать решения с помощью данных и исследований при создании продукта (путь от 0 к 1).

• «Симулятор управления ростом продукта» поможет найти пути управляемого роста и масштабирования продукта. Вы построите модель роста и составите стратегию развития продукта (путь от 1 к N).

Еще больше ценных материалов и инсайтов — в телеграм-каналах GoPractice и GoPractice Insights. Добавляйтесь в чат Ask Kevin!, чтобы участвовать в обсуждениях с другими участниками нашего коммьюнити.

***

Захар Сташевский, CMO Letyshops, вместе с GoPractice открывает серию материалов о том, как влиять на рост продуктов через эффективное управление маркетинговыми каналами.

Оглавление цикла

Первый материал: Ошибки при расчете ROI и юнит-экономики. Влияние моделей атрибуции и инкрементальности на ROI в маркетинге [вы здесь]

Почему при расчете ROI и юнит-экономики нельзя игнорировать влияние используемых моделей атрибуции и инкрементальности рекламы. 

Второй материал: Модели атрибуции трафика. Почему модель атрибуции должна изменяться вместе с каналами продвижения, продуктом, маркетинговой задачей и внешней средой

Как подбирать модели атрибуции для оценки эффективности рекламных каналов (ROI) исходя из специфики продукта, маркетинг-микса, бизнес-задачи и условий внешней среды; почему надо пересматривать и адаптировать модель атрибуции в случае изменений этих факторов.

Третий материал: Способы атрибуции рекламы без явного касания или клика

Как атрибутировать рекламу, если в маркетинг-миксе есть каналы, где сложно или невозможно зафиксировать касание пользователя с рекламой: альтернативные способы и их внедрение.

Четвертый материал: Инкрементальность рекламы. Как оценить истинное влияние рекламных каналов на рост продукта

Что такое инкрементальность в маркетинге, чем она отличается от модели атрибуции, какие индикаторы указывают на наличии проблем с инкрементальностью. Подходы к проведению инкрементальных тестов в разных условиях, калибровка модели атрибуции и всей системы оценки эффективности рекламных каналов.

Далее повествование ведется от лица Захара.

Посчитать ROI маркетинговых каналов (юнит-экономику) при условии идеального трекинга и атрибуции очень просто. Но в реальном мире идеального трекинга и атрибуции не бывает. 

Расчет ROI (юнит-экономики) без понимания особенностей используемых методов атрибуции, специфики каналов и проблемы инкрементальности трафика ведет к одной из двух ошибок:

• Команда недооценивает канал и не использует его в полной мере;
• Команда переоценивает канал (это называют инкрементальностью) и теряет на нем деньги.

Эти ошибки совершают очень многие команды. Мы совершили их и сами в процессе масштабирования Letyshops. Благодаря полученному опыту, теперь я могу поделиться соображениями о том, как идентифицировать эти ошибки и избежать их.

***

Если вы хотите глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.

• «Симулятор управления продуктом на основе данных» поможет научиться принимать решения с помощью данных и исследований при создании продукта (путь от 0 к 1).

• «Симулятор управления ростом продукта» поможет найти пути управляемого роста и масштабирования продукта. Вы построите модель роста и составите стратегию развития продукта (путь от 1 к N).

Еще больше ценных материалов и инсайтов — в телеграм-каналах GoPractice и GoPractice Insights. Добавляйтесь в чат Ask Kevin!, чтобы участвовать в обсуждениях с другими участниками нашего коммьюнити.

***

Два типа ошибок при расчете ROI и юнит-экономики из-за неучета инкрементальности и особенностей моделей атрибуции

Модель атрибуции — это набор правил и технических решений, на основе которых вы определяете, к какому каналу отнести привлеченного пользователя или продажу.

Для оценки объективной эффективности канала важно понимать, как именно для вашего продукта и используемого рекламного канала работает выбранная модель атрибуции. 

Для каждого набора «канал + продукт + модель атрибуции» будут свои особенности, которые важно учитывать. Многие команды этого не осознают, что ведет к ошибкам в оценке эффективности канала (расчете ROI и юнит-экономики).

Различные модели атрибуции будут по-разному влиять на точность оценки эффективности рекламных каналов для тех или иных продуктов. В некоторых случаях они будут приводить к недооценке канала, в других — переоценке. И то, и другое будет приводить к потере денег.

LTV (Lifetime Value) – важная метрика для принятия решений как в маркетинге, так и в продукте. Но при расчете LTV часто допускают ошибки. Причем ошибки допускают даже авторы статей с первой страницы результатов Google про то, как посчитать LTV.

Самые распространенные ошибки при расчете LTV:

• Расчет LTV на основе выручки (Revenue), а не прибыли (contribution margin).
• Расчет LTV через Lifetime пользователей, полученный через 1/churn или другими способами.
• Расчет LTV через среднее количество покупок пользователей.

В этой статье обсудим, как надо и не надо считать LTV (Lifetime Value).

***

Если вы хотите глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.

• «Симулятор управления продуктом на основе данных» поможет научиться принимать решения с помощью данных и исследований при создании продукта (путь от 0 к 1).

• «Симулятор управления ростом продукта» поможет найти пути управляемого роста и масштабирования продукта. Вы построите модель роста и составите стратегию развития продукта (путь от 1 к N).

Еще больше ценных материалов и инсайтов — в телеграм-каналах GoPractice и GoPractice Insights. Добавляйтесь в чат Ask Kevin!, чтобы участвовать в обсуждениях с другими участниками нашего коммьюнити.

***

Эту статью вместе с GoPractice написал Женя Козлов. Женя 8 лет руководил аналитикой: 3,5 года строил функцию аналитики в Яндекс.Маркете, затем 4,5 года – в Яндекс.Такси. Сейчас Женя находится в творческом отпуске и нашел время поделиться опытом. Подписывайтесь на телеграм-канал Жени “Секрет лапшичного супа”.

Далее повествование ведется от лица Жени.

За 8 лет в аналитике я прособеседовал и нанял сотни людей и хорошо представляю, как устроен рынок аналитиков.

Ключевое знание про аналитиков данных – этого рынка практически нет. В 2019 году я нанял в свою команду 34 аналитика, из которых 23 (68%) – это стажеры и джуниоры. Мы были бы рады нанимать более зрелых ребят, но их просто нет, поэтому приходится нанимать людей с потенциалом и растить.

Для сравнения, в команду дата-инженеров мы наняли 23% джунов (5 человек из 22) – здесь рынок есть. Эта дисциплина развита в банках, телекомах, ритейле – а значит, на рынке больше готовых специалистов.

Эта статья преследует две цели.

Первая – поделиться с рынком терминами, в которых мы в Яндексе думаем про уровни аналитиков. Это позволит уменьшить энтропию на рынке, где сегодня за вакансией и резюме аналитика может скрываться произвольный набор ожиданий и навыков: от проектного менеджмента и системного анализа, до автоматизации рутинных операций бизнеса. Приставки же младший / старший / ведущий вообще не несут никакой информации.

Вторая – дать понятный план для роста и развития в роли аналитика данных. В Яндекс.Такси мы вынуждены выстраивать конвейер для роста сотрудников, так как иначе мы просто не будем справляться. Сама формализация уровней аналитиков является следствием этого подхода. Но не все работают в больших компаниях, не у всех рядом есть сильный наставник или ментор – эта статья призвана помочь таким людям взглянуть на свои точки роста и поработать над ними.

***

Если вы хотите глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.

• «Симулятор управления продуктом на основе данных» поможет научиться принимать решения с помощью данных и исследований при создании продукта (путь от 0 к 1).

• «Симулятор управления ростом продукта» поможет найти пути управляемого роста и масштабирования продукта. Вы построите модель роста и составите стратегию развития продукта (путь от 1 к N).

Еще больше ценных материалов и инсайтов — в телеграм-каналах GoPractice и GoPractice Insights. Добавляйтесь в чат Ask Kevin!, чтобы участвовать в обсуждениях с другими участниками нашего коммьюнити.

***

Эту статью вместе с GoPractice написал Дима Золотухин (Facebook, Telegram) – Head of Analytics в компании Flo. Дима занимается дата-аналитикой 8 лет, с 2017 года – в продуктовых компаниях.

Далее повествование ведется от лица Димы.

В Flo (мобильное приложение № 1 в сфере женского здоровья) мы увеличили долю успешных экспериментов на 30%. Для этого мы много инвестировали в то, чтобы наладить эффективный процесс по работе с гипотезами.

Одна из важных составляющих процесса – отсутствие монополии на формулирование гипотез, что приводит к тому, что вся команда участвует в создании гипотез, их приоритизации и тестировании.

В таком случае процесс работы с гипотезами важно знать и понимать всем членам команды, которые касаются продукта: продуктовым менеджерам, аналитикам, дизайнерам, UX-исследователям и даже разработчикам.

В этой статье мы обсудим, как правильно формулировать и приоритизировать гипотезы для последующего A/B тестирования.

***

Если вы хотите глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.

• «Симулятор управления продуктом на основе данных» поможет научиться принимать решения с помощью данных и исследований при создании продукта (путь от 0 к 1).

• «Симулятор управления ростом продукта» поможет найти пути управляемого роста и масштабирования продукта. Вы построите модель роста и составите стратегию развития продукта (путь от 1 к N).

Еще больше ценных материалов и инсайтов — в телеграм-каналах GoPractice и GoPractice Insights. Добавляйтесь в чат Ask Kevin!, чтобы участвовать в обсуждениях с другими участниками нашего коммьюнити.

***

Шаблон построения гипотезы и ее компоненты

В чате Ask Kevin участники регулярно задают вопросы про настройку и выбор систем аналитики данных для мобильных приложений и веб-сервисов. Антон Елфимов уже давно помогает сообществу, поэтому мы предложили ему сделать подборку ответов на самые распространенные вопросы.

Антон Елфимов – аналитик-консультант, c 2012 года помогает разным компаниям внедрять и получать инсайты из систем аналитики (Google Analytics, Mixpanel, Amplitude, Appsflyer и т.д.)

Далее повествование ведется от лица автора.

Настройка аналитики – важный и сложный процесс. Важный, потому что ошибки, сделанные на этапе настройки и интеграции аналитики, не позволят в будущем ответить на ключевые вопросы, либо же приведут к ошибочным выводам. Сложный, так как есть множество неочевидных моментов, которые вызывают проблемы у продуктовых и маркетинговых команд.

В этой статье будут собраны ответы на вопросы, которые возникают в чате ”Ask Kevin!” по поводу настройки cистем аналитики. Если у вас есть вопросы по этим темам, то напишите их в комментариях к статье, либо задайте в чате ”Ask Kevin!” (не забудьте тегнуть @antonelfimov).

***

Если вы хотите глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.

• «Симулятор управления продуктом на основе данных» поможет научиться принимать решения с помощью данных и исследований при создании продукта (путь от 0 к 1).

• «Симулятор управления ростом продукта» поможет найти пути управляемого роста и масштабирования продукта. Вы построите модель роста и составите стратегию развития продукта (путь от 1 к N).

Еще больше ценных материалов и инсайтов — в телеграм-каналах GoPractice и GoPractice Insights. Добавляйтесь в чат Ask Kevin!, чтобы участвовать в обсуждениях с другими участниками нашего коммьюнити.

***

Построение прогноза динамики дохода, аудитории и других ключевых показателей – это важный процесс для любого продукта в фазе роста. Наличие качественного прогноза помогает приоритизировать проекты на этапе планирования, а потом отслеживать насколько ваши реальные темпы роста соответствуют ожидаемым, позволяя идентифицировать проблемы на раннем этапе.

Сам же процесс создания модели для прогнозирования позволяет синхронизировать команду в понимании устройства модели продукта и его структуры роста, а также дает инструмент для оценки влияния разных векторов развития и потенциальных проектов.

Сегодня мы обсудим, как построить прогноз аудитории, дохода и других целевых показателей вашего продукта с помощью когортного анализа в Excel или Google Spreadsheets, выясним, какие есть подводные камни и сложности у этого процесса.

Вы также получите шаблон для прогнозирования ключевых показателей в Excel / Google Spreadsheets.

***

Если вы хотите глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.

• «Симулятор управления продуктом на основе данных» поможет научиться принимать решения с помощью данных и исследований при создании продукта (путь от 0 к 1).

• «Симулятор управления ростом продукта» поможет найти пути управляемого роста и масштабирования продукта. Вы построите модель роста и составите стратегию развития продукта (путь от 1 к N).

Еще больше ценных материалов и инсайтов — в телеграм-каналах GoPractice и GoPractice Insights. Добавляйтесь в чат Ask Kevin!, чтобы участвовать в обсуждениях с другими участниками нашего коммьюнити.

***

Когда я работал в Facebook, то у команды аналитики Workplace была классная традиция: еженедельная встреча команды начиналась с небольшой викторины.

Победитель прошлой недели готовил вопрос про какой-то ключевой показатель Workplace. Например, «Чему равна месячная аудитория продукта?» или «Сколько новых пользователей пришло за прошлую неделю?» или «Какая доля новых компаний достигает отметки в 10 пользователей?» или “Сколько мы заработали за прошлый месяц?”

Важным условием при формировании вопроса было то, что ответ на него можно легко получить с помощью метрик на дашборде команды.

Участники встречи должны были записать ответ на вопрос на бумаге. Ответить нужно было без помощи компьютеров, то есть по памяти. Тот, чей ответ был ближе всего к правильному, получал +1 балл в турнирной таблице, а тот, кто был дальше всех, терял 1 балл. По итогам полугодия определялся чемпион.

Я участвовал в пяти розыгрышах и выиграл три из них. Однажды к последнему туру у меня и у еще одного аналитика было одинаковое количество очков. Команда устроила нам финальный раунд, где мы должны были в блиц формате ответить на пять вопросов. Я набрал на одно очко больше и выиграл кружку на фотографии ниже.

Я рассказал эту историю не потому, что хотел похвастаться победами (хотя и это тоже). Дело в том, что почти в каждом розыгрыше мы получали очень большой разброс ответов. Для меня это было неожиданно.

Во-первых, играли аналитики, которые большую часть времени работают с данными и должны в них неплохо ориентироваться. Во-вторых, это были аналитики в Facebook, компании с высокой культурой работы с данными, где у каждой команды есть четкие цели, есть дэшборд, доступный всем сотрудникам компании, все встречи начинаются с апдейтов по прогрессу по ключевым метрикам. Как эти люди могли так сильно ошибаться на несложных вопросах про продукт, над которым они работают?

Если вы проведете такую игру среди сотрудников вашей компании, то, скорее всего, будете сильно удивлены. У большинства людей будут очень далекие от реальности представления о том, как ваш продукт и бизнес выглядит с точки зрения цифр. У некоторых этих представлений не будет вовсе.

В этой статье обсудим, почему важно, чтобы участники команды держали в уме хотя бы примерные значения ключевых показателей продукта, почему этого не происходит и как этого добиться.

***

Если вы хотите глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.

• «Симулятор управления продуктом на основе данных» поможет научиться принимать решения с помощью данных и исследований при создании продукта (путь от 0 к 1).

• «Симулятор управления ростом продукта» поможет найти пути управляемого роста и масштабирования продукта. Вы построите модель роста и составите стратегию развития продукта (путь от 1 к N).

Еще больше ценных материалов и инсайтов — в телеграм-каналах GoPractice и GoPractice Insights. Добавляйтесь в чат Ask Kevin!, чтобы участвовать в обсуждениях с другими участниками нашего коммьюнити.

***