Всё по теме: Продуктовая аналитика

Захар Сташевский, CMO Letyshops, вместе с GoPractice продолжает серию материалов о том, как влиять на рост продуктов через эффективное управление рекламными каналами. 

Из этого материала вы узнаете об альтернативных способах атрибуции пользователей в случаях, когда в маркетинг-миксе есть каналы, в которых сложно или невозможно зафиксировать касание пользователя с рекламой.

Захар Сташевский, CMO Letyshops, вместе с GoPractice продолжает серию материалов о том, как влиять на рост продуктов через эффективное управление рекламными каналами. 

Оглавление цикла

Первый материал: Ошибки при расчете юнит-экономики. Влияние моделей атрибуции и инкрементальности на юнит-экономику продукта 

Почему при расчете юнит-экономики нельзя игнорировать влияние используемых моделей атрибуции и инкрементальности рекламы. 

Второй материал: Модели атрибуции трафика. Почему модель атрибуции должна изменяться вместе с каналами продвижения, продуктом, маркетинговой задачей и внешней средой [вы здесь]

Как подбирать модели атрибуции для оценки эффективности рекламных каналов исходя из специфики продукта, маркетинг-микса, бизнес-задачи и условий внешней среды; почему надо пересматривать и адаптировать модель атрибуции в случае изменений этих факторов.

Третий материал: Способы атрибуции рекламы без явного касания или клика

Как атрибутировать рекламу, если в маркетинг-миксе есть каналы, где сложно или невозможно зафиксировать касание пользователя с рекламой: альтернативные способы и их внедрение.

Далее повествование ведется от лица Захара.

Мы уже выяснили, как неверный расчет юнит-экономики может приводить к недооценке или переоценке рекламного канала и, как следствие, ошибочным маркетинговым решениям. Излишнее масштабирование или остановка канала могут привести к прямой или косвенной потере денег, что, в свою очередь, ведет к упущенным окнам возможностей роста на рынке.

Такие ошибки могут случаться по разным причинам. Одна из наиболее распространенных — команды маркетинга и аналитики не уделяют должного внимания моделям атрибуции, на основе которых принимают решения. Они просто используют доступную в системе аналитики модель атрибуции по умолчанию, либо подбирают модель на старте работы с новым каналом, но не меняют модель по мере развития компании и изменения маркетинг-микса, длины цикла продажи продукта, внешних факторов. 

Захар Сташевский, CMO Letyshops, вместе с GoPractice открывает серию материалов о том, как влиять на рост продуктов через эффективное управление маркетинговыми каналами.

Оглавление цикла

Первый материал: Ошибки при расчете юнит-экономики. Влияние моделей атрибуции и инкрементальности на юнит-экономику продукта [вы здесь]

Почему при расчете юнит-экономики нельзя игнорировать влияние используемых моделей атрибуции и инкрементальности рекламы. 

Второй материал: Модели атрибуции трафика. Почему модель атрибуции должна изменяться вместе с каналами продвижения, продуктом, маркетинговой задачей и внешней средой

Как подбирать модели атрибуции для оценки эффективности рекламных каналов исходя из специфики продукта, маркетинг-микса, бизнес-задачи и условий внешней среды; почему надо пересматривать и адаптировать модель атрибуции в случае изменений этих факторов.

Третий материал: Способы атрибуции рекламы без явного касания или клика

Как атрибутировать рекламу, если в маркетинг-миксе есть каналы, где сложно или невозможно зафиксировать касание пользователя с рекламой: альтернативные способы и их внедрение.

Далее повествование ведется от лица Захара.

Посчитать юнит-экономику при условии идеального трекинга и атрибуции очень просто. Но в реальном мире идеального трекинга и атрибуции не бывает. 

Расчет юнит-экономики без понимания особенностей используемых методов атрибуции, специфики каналов и проблемы инкрементальности трафика ведет к одной из двух ошибок:

• Команда недооценивает канал и не использует его в полной мере;
• Команда переоценивает канал (это называют инкрементальностью) и теряет на нем деньги.

Эти ошибки совершают очень многие команды. Мы совершили их и сами в процессе масштабирования Letyshops. Благодаря полученному опыту, теперь я могу поделиться соображениями о том, как идентифицировать эти ошибки и избежать их.

Два типа ошибок при расчете юнит-экономики из-за неучета инкрементальности и особенностей моделей атрибуции

Модель атрибуции — это набор правил и технических решений, на основе которых вы определяете, к какому каналу отнести привлеченного пользователя или продажу.

Для оценки объективной эффективности канала важно понимать, как именно для вашего продукта и используемого рекламного канала работает выбранная модель атрибуции. 

Для каждого набора «канал + продукт + модель атрибуции» будут свои особенности, которые важно учитывать. Многие команды этого не осознают, что ведет к ошибкам в оценке эффективности канала (расчете юнит-экономики).

Различные модели атрибуции будут по-разному влиять на точность оценки эффективности рекламных каналов для тех или иных продуктов. В некоторых случаях они будут приводить к недооценке канала, в других — переоценке. И то, и другое будет приводить к потере денег.

LTV (Lifetime Value) – важная метрика для принятия решений как в маркетинге, так и в продукте. Но при расчете LTV часто допускают ошибки. Причем ошибки допускают даже авторы статей с первой страницы результатов Google про то, как посчитать LTV.

Самые распространенные ошибки при расчете LTV:

• Расчет LTV на основе выручки (Revenue), а не прибыли (contribution margin).
• Расчет LTV через Lifetime пользователей, полученный через 1/churn или другими способами.
• Расчет LTV через среднее количество покупок пользователей.

В этой статье обсудим, как надо и не надо считать LTV (Lifetime Value).

Эту статью вместе с GoPractice написал Женя Козлов. Женя 8 лет руководил аналитикой: 3,5 года строил функцию аналитики в Яндекс.Маркете, затем 4,5 года – в Яндекс.Такси. Сейчас Женя находится в творческом отпуске и нашел время поделиться опытом. Подписывайтесь на телеграм-канал Жени “Секрет лапшичного супа”.

Далее повествование ведется от лица Жени.

За 8 лет в аналитике я прособеседовал и нанял сотни людей и хорошо представляю, как устроен рынок аналитиков.

Ключевое знание про аналитиков данных – этого рынка практически нет. В 2019 году я нанял в свою команду 34 аналитика, из которых 23 (68%) – это стажеры и джуниоры. Мы были бы рады нанимать более зрелых ребят, но их просто нет, поэтому приходится нанимать людей с потенциалом и растить.

Для сравнения, в команду дата-инженеров мы наняли 23% джунов (5 человек из 22) – здесь рынок есть. Эта дисциплина развита в банках, телекомах, ритейле – а значит, на рынке больше готовых специалистов.

Эта статья преследует две цели.

Первая – поделиться с рынком терминами, в которых мы в Яндексе думаем про уровни аналитиков. Это позволит уменьшить энтропию на рынке, где сегодня за вакансией и резюме аналитика может скрываться произвольный набор ожиданий и навыков: от проектного менеджмента и системного анализа, до автоматизации рутинных операций бизнеса. Приставки же младший / старший / ведущий вообще не несут никакой информации.

Вторая – дать понятный план для роста и развития в роли аналитика данных. В Яндекс.Такси мы вынуждены выстраивать конвейер для роста сотрудников, так как иначе мы просто не будем справляться. Сама формализация уровней аналитиков является следствием этого подхода. Но не все работают в больших компаниях, не у всех рядом есть сильный наставник или ментор – эта статья призвана помочь таким людям взглянуть на свои точки роста и поработать над ними.

Эту статью вместе с GoPractice написал Дима Золотухин (Facebook, Telegram) – Head of Analytics в компании Flo. Дима занимается дата-аналитикой 8 лет, с 2017 года – в продуктовых компаниях.

Далее повествование ведется от лица Димы.

В Flo (мобильное приложение № 1 в сфере женского здоровья) мы увеличили долю успешных экспериментов на 30%. Для этого мы много инвестировали в то, чтобы наладить эффективный процесс по работе с гипотезами.

Одна из важных составляющих процесса – отсутствие монополии на формулирование гипотез, что приводит к тому, что вся команда участвует в создании гипотез, их приоритизации и тестировании.

В таком случае процесс работы с гипотезами важно знать и понимать всем членам команды, которые касаются продукта: продуктовым менеджерам, аналитикам, дизайнерам, UX-исследователям и даже разработчикам.

В этой статье мы обсудим, как правильно формулировать и приоритизировать гипотезы для последующего A/B тестирования.

Шаблон построения гипотезы и ее компоненты

В чате Ask Kevin участники регулярно задают вопросы про настройку и выбор систем аналитики данных для мобильных приложений и веб-сервисов. Антон Елфимов уже давно помогает сообществу, поэтому мы предложили ему сделать подборку ответов на самые распространенные вопросы.

Антон Елфимов – аналитик-консультант, c 2012 года помогает разным компаниям внедрять и получать инсайты из систем аналитики (Google Analytics, Mixpanel, Amplitude, Appsflyer и т.д.)

Далее повествование ведется от лица автора.

Настройка аналитики – важный и сложный процесс. Важный, потому что ошибки, сделанные на этапе настройки и интеграции аналитики, не позволят в будущем ответить на ключевые вопросы, либо же приведут к ошибочным выводам. Сложный, так как есть множество неочевидных моментов, которые вызывают проблемы у продуктовых и маркетинговых команд.

В этой статье будут собраны ответы на вопросы, которые возникают в чате ”Ask Kevin!” по поводу настройки cистем аналитики. Если у вас есть вопросы по этим темам, то напишите их в комментариях к статье, либо задайте в чате ”Ask Kevin!” (не забудьте тегнуть @antonelfimov).

Построение прогноза динамики дохода, аудитории и других ключевых показателей – это важный процесс для любого продукта в фазе роста. Наличие качественного прогноза помогает приоритизировать проекты на этапе планирования, а потом отслеживать насколько ваши реальные темпы роста соответствуют ожидаемым, позволяя идентифицировать проблемы на раннем этапе.

Сам же процесс создания модели для прогнозирования позволяет синхронизировать команду в понимании устройства модели продукта и его структуры роста, а также дает инструмент для оценки влияния разных векторов развития и потенциальных проектов.

Сегодня мы обсудим, как построить прогноз аудитории, дохода и других целевых показателей вашего продукта с помощью когортного анализа в Excel или Google Spreadsheets, выясним, какие есть подводные камни и сложности у этого процесса.

Вы также получите шаблон для прогнозирования ключевых показателей в Excel / Google Spreadsheets.

Когда я работал в Facebook, то у команды аналитики Workplace была классная традиция: еженедельная встреча команды начиналась с небольшой викторины.

Победитель прошлой недели готовил вопрос про какой-то ключевой показатель Workplace. Например, «Чему равна месячная аудитория продукта?» или «Сколько новых пользователей пришло за прошлую неделю?» или «Какая доля новых компаний достигает отметки в 10 пользователей?» или “Сколько мы заработали за прошлый месяц?”

Важным условием при формировании вопроса было то, что ответ на него можно легко получить с помощью метрик на дашборде команды.

Участники встречи должны были записать ответ на вопрос на бумаге. Ответить нужно было без помощи компьютеров, то есть по памяти. Тот, чей ответ был ближе всего к правильному, получал +1 балл в турнирной таблице, а тот, кто был дальше всех, терял 1 балл. По итогам полугодия определялся чемпион.

Я участвовал в пяти розыгрышах и выиграл три из них. Однажды к последнему туру у меня и у еще одного аналитика было одинаковое количество очков. Команда устроила нам финальный раунд, где мы должны были в блиц формате ответить на пять вопросов. Я набрал на одно очко больше и выиграл кружку на фотографии ниже.

Я рассказал эту историю не потому, что хотел похвастаться победами (хотя и это тоже). Дело в том, что почти в каждом розыгрыше мы получали очень большой разброс ответов. Для меня это было неожиданно.

Во-первых, играли аналитики, которые большую часть времени работают с данными и должны в них неплохо ориентироваться. Во-вторых, это были аналитики в Facebook, компании с высокой культурой работы с данными, где у каждой команды есть четкие цели, есть дэшборд, доступный всем сотрудникам компании, все встречи начинаются с апдейтов по прогрессу по ключевым метрикам. Как эти люди могли так сильно ошибаться на несложных вопросах про продукт, над которым они работают?

Если вы проведете такую игру среди сотрудников вашей компании, то, скорее всего, будете сильно удивлены. У большинства людей будут очень далекие от реальности представления о том, как ваш продукт и бизнес выглядит с точки зрения цифр. У некоторых этих представлений не будет вовсе.

В этой статье обсудим, почему важно, чтобы участники команды держали в уме хотя бы примерные значения ключевых показателей продукта, почему этого не происходит и как этого добиться.

Retention rate – одна из фундаментальных метрик в работе над продуктом. Мы все используем метрику Retention регулярно, но не все знают, что существует много разных способов расчета Retention. И это очень важно четко понимать, какой именно метод расчета был использован, при обсуждении результатов анализа и принятии решений на основе Retention метрик.

История. Когда я работал в Zeptolab, нам часто писали игровые студии, которые хотели, чтобы Zeptolab выступил в роли паблишера для их игр. Однажды пришло письмо, которое сильно выделялось на фоне остальных. Метрики игры, которую нам предлагали опубликовать, выглядели впечатляюще: Retention 1 дня превышал 55%, Retention 7 дня – 25%.

Мы начали тестировать игру, чтобы понять, в чем секрет. Но быстро стало понятно, что что-то здесь не сходится. Геймлей не был настолько увлекательным, чтобы обеспечить Retention 1 дня > 55%. Мета-игра также не выглядела достаточно глубокой и проработанной, чтобы вытянуть Retention 7 дня при таком геймплее.

Последующее расследование выявило, что под Retention студия имела ввиду не классический Day N Retention rate, а Rolling Retention. Когда мы получили значения классического Day N Retention их игры, то цифры уже не выглядели впечатляющими.

Это лишь один из примеров, как неправильная интерпретация Retention метрики может отправить команду в ложном направлении. В этой статье мы рассмотрим разные ньюансы расчета и интерпретации Retention, и то, как они влияют на итоговые значения метрики и принимаемые решения.

Несколько комментариев к статье:

• Данная статья сфокусирована больше на особенностях методов расчета Retention и их влиянии на значения метрики. Ранее в блоге публиковалась статья о том, как влиять на Retention продукта.
• Большинство рассуждений ведутся на примере Daily Retention, но они полностью применимы к недельному и месячного Retention. Выбор того, с какой гранулярностью считать Retention для конкретного продукта зависит от специфики его использования.