Этот материал — выжимка агентства Mobio с моими комментариями. В нем ребята здорово рассказывают про аналитику мобильного трафика и про покупку пользователей в CPI сетях.
Я рассказываю о ключевых моментах гайда и обращаю внимание на неточности, которые в нем есть.
Обратите внимание: материал опубликован в марте 2015 года.
Покупка и аналитика мобильного трафика
Когортный анализ — единственный правильный способ считать и сравнивать показатели для разных источников трафика.
Для пользователей, пришедших из определенного источника, необходимо считать ключевые метрики на первы, второй, третий и так далее дни с момента их прихода в приложение. Для этого при расчете конкретной метрики необходимо всех пользователей из оцениваемой группы разбить по дням прихода и «сместить» их в начало координат.
Зачем? Представьте, что пользователи из источника А пришли за неделю 1, а пользователи из источника B пришли за неделю 2. Если вы будете считать показатели этих источников на конец недели 2, то пользователи из источника А проведут в приложении больше времени, чем пользователи из источника B. В этом случае сравнение показателей будет нечестным и может привести к неправильным выводам и решениям.
Подробнее про когортный анализ — в материале «Когортный анализ. Метрики продукта vs метрики роста».
В воронке целевых событий должны быть ивенты, по которым можно оценить качество трафика уже через 1 час или 1 день после начала его закупки
Если вы оцениваете трафик только по LTV или ROI, то достаточное количество информации для отключения плохого источника у вас появляется слишком поздно.
Для того чтобы быстро реагировать и отключать плохие источники трафика, необходимо иметь ряд метрик, по которым вы сможете принимать решение быстро (в течение дня или даже нескольких часов после прихода первых пользователей). Подобными метриками могут быть конверсия туториала или, например, Day 1 Retention. По ним вы практически сразу сможете отсечь источники, которые ведут некачественный трафик.
Mobio считают, что так надо оценивать источники, но я с ними не соглашусь
«Считать нужно уникальных пользователей, совершивших события, а не общее число событий», говорят ребята из Mobio. В качестве примера приводят следующую ситуацию. Пусть из канала А пришли 1000 пользователей и заплатили 500 долларов. Из канала B пришли 1000 пользователей и заплатили 100 долларов (в рамках данного примера давайте считать, что стоимость пользователей в каждом из каналов одинаковая). Но как оказывается, в канале А было всего 2 платящих пользователя, а в канале B целых 10. Из этого делается вывод, что канал B лучше в долгосрочной перспективе.
С этим я не согласен.
Во-первых, на таких объемах разница в доле платящих статистически незначима. Об этом поговорим чуть дальше, а пока опустим этот момент и будем считать, что конверсии в покупку отражают реальность.
Во-вторых, странно утверждать, что пользователи из канала А хуже, чем пользователи из канала В. Как минимум, они заплатили в пять раз больше, а это как раз то, что нас и интересует (напомню, что стоимость пользователей одинаковая в рамках примера).
В-третьих, если в канале B более высокая конверсия в платящих, то это совершенно не означает, что заплатившие пользователи продолжат платить дальше и в долгосрочной перспективе принесут больше денег. Это, конечно, возможно, но вовсе не гарантировано: в разных продуктах и даже в разных источниках поведение пользователей может отличаться кардинально.
В-четвертых, основная часть денег, которые зарабатывают мобильные игры, приходится на так называемых «китов», которые платят в приложении очень много и приносят большую часть всех денег. Поэтому странно отметать канал, где такой кит был найден и окупил затраты на покупку трафика, только по причине низкой конверсии в платящих.
Но в утверждении ребят из Mobio есть и здравая мысль. Если, например, мы сделали тестовую закупку трафика в нескольких каналах, чтобы принять решение, в какой из каналов нам лучше вкладывать бюджет, и получили такие результаты, то в этом случае с принятием решения надо быть осторожными. Поймать «кита» — это редкое событие, хотя и приятное. Но не факт, что купив еще 20 тысяч пользователей в канале А, вы поймаете еще хотя бы одного такого пользователя. С другой стороны, возможно, вы нашли место, где можно выцеплять именно таких игроков.
Чтобы глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в GoPractice.
→ Программа «Профессия: продакт-менеджер» поможет вам перейти в продакт-менеджмент из смежной роли или индустрии.
→ В «Симуляторе управления продуктом на основе данных» вы научитесь принимать решения с помощью данных и исследований при создании продукта.
→ В «Симуляторе управления ростом продукта» найдете пути управляемого роста и масштабирования продукта.
→ В «Симуляторе SQL для продуктовой аналитики» поймете, как применять SQL для решения продуктовых и маркетинговых задач.
→ В «Симуляторе управления ML/AI-проектами» научитесь применять технологии машинного обучения с пользой для бизнеса.
→ Не знаете с чего начать? Пройдите бесплатный тест для оценки навыков управления продуктом. Вы определите свои сильные стороны и слепые зоны, получите план профессионального развития.
→ Еще больше ценных материалов и инсайтов — в телеграм-канале .
Суммируя вышесказанное, данных по каналу А слишком мало, чтобы оценивать качество канала и прогнозировать возврат инвестиций.
Доверительные интервалы, или сколько же надо пользователей, чтобы достоверно оценить конверсию определенного действия?
Почему-то с вопросом «А сколько нам надо пользователей, чтобы с уверенностью сказать, что конверсия в 10% на нашей выборке с высокой вероятностью отражает реальную картину» очень часто возникают сложности.
Сложности возникли и у ребят из Mobio. Они вспомнили про доверительные интервалы и математическую статистику, но почему-то в рекомендациях запутались. По их словам при конверсии в целевое действие на уровне 80% достаточно 100 пользователей, чтобы с уверенностью утверждать, что цифрам можно доверять, при конверсии на уровне в 10% достаточно 300-500 пользователей, а при конверсии 1-2% надо хотя бы 1000 пользователей (это не так!). При этом ключевая логика: «чем выше конверсия события, тем меньше нужно инсталлов, чтобы оценить качество».
Во-первых, для оценки конверсии в 90% и 10% с одинаковым доверительным интервалом потребуется одинаковое количество инсталлов.
Во-вторых, я все-таки немного придираюсь, потому что ребята, скорее всего, имели ввиду, что если у вас конверсия 90%, то разброс этой метрики от 85% до 95% для вас намного менее критичен, чем разброс конверсии в 10% в диапазоне от 5% до 15%.
Но все-таки я хочу поделиться с вами , который позволяет быстро считать доверительные интервалы и понимать, что в реальности означает ваша конверсия, полученная на тестовой выборке пользователей.
Пользоваться калькулятором очень просто. Представьте, что у вас пришли 1000 пользователей из канала А, а 20 из них сделали покупку (2%). Из канала B тоже пришли 1000 пользователей, а покупку сделали уже 30 (3%). Можно ли говорить, что канал В лучше канала А?
Для группы А получаем, что конверсия в 2% на 1000 пользователей, означает, что реальная конверсия в вероятностью 95% находится в интервале от 1,13% до 2,87%.
Для группы B получаем, что конверсия в 3% на 1000 пользователей, означает, что реальная конверсия в вероятностью 95% находится в интервале от 1,94% до 4,06%.
Оказывается, что доверительные интервалы для наших двух экспериментов пересекаются, поэтому сказать, что группа А лучше конвертируется в платящих, чем группа B, мы не можем. Надо собирать данные дальше.
Убедитесь, что все события для аналитики собираются правильно
Это наиболее важный шаг при интеграции любой системы аналитики (мобильной системы аналитики особенно). Вы хотите принимать решения на основе этих данных, поэтому потратьте час времени и проверьте, что все данные приходят правильно. Я уже публиковал статью про то, как настраивать системы мобильной аналитики, рекомендую вам прочитать.
Ключевая метрика для оценки мобильного трафика
Этот пункт я добавил от себя. Не суть важно, какой у вас CPI и какой LTV. Почему-то при покупке трафика специалисты слишком часто концентрируются на какой-нибудь из этих метрик, забывая при этом про другую. В итоге начинается оптимизация трафика по CPI или по LTV, а при этом важна лишь метрика LTV / CPI.
Покупка мобильного трафика в CPI-сетях
У меня не очень много опыта в работе с CPI-сетями, но если бы я знал ряд вещей, которые я выписал ниже до момента начала работы с ними, то мне бы это очень помогло. Надеюсь, поможет и вам.
Как работают CPI-сети
CPI-сети — это сети, которые продают вам трафик по фиксированному CPI (по фиксированной цене за установку мобильного приложения).
Важно понимать, что CPI-сеть — это агрегатор большого количества разных источников, каждый из которых имеет разную аудиторию и работает по-разному. Поэтому при работе с CPI-сетями нет смысла оценивать всю сеть целиком, а надо оценивать каждый отдельный источник трафика в рамках сети.
Оценивайте не всю CPI-сеть целиком, а каждый отдельный источник в рамках сети
Для того чтобы оценивать отдельный источник, необходимо при работе с CPI-сетью договориться, чтобы они с каждой установкой передавали в вашу трекинговую систему конкретный источник трафика. Многие CPI-сети по умолчанию интегрированы с ключевыми мобильными трекерами (Appsflyer, Adjust, MAT), но у каких-то сетей интеграции может и не быть (тогда надо договариваться лично). В частности, в AppsFlyer информация об источнике обычно передается в параметре af_siteid.
Как определяется цена установки в CPI-сетях
Можно подумать, что CPI-сети работают по принципу, что стоимость установки у них жестко определена, и если вы хотите с ними работать, то вам надо соглашаться на какую-то предопределенную цену.
На самом деле, все работает не так. CPI-сети работают по аукционной модели, то есть вы можете поставить любой CPI. При этом важно понимать, что при очень низких значениях CPI велика вероятность вообще не получить трафика — никто не заинтересуется вашим предложением. Кроме того, выставленное значение CPI в определенной степени влияет на качество трафика, так как высокая ставка позволяет выигрывать конкуренцию за лучшие источники трафика в рамках рекламной сети.
Другие полезные хаки в работе с CPI-сетями
В руководстве от Mobio есть еще ряд крутых хаков в работе с CPI-сетями. Какие дневные лимиты ставить? Как именно оптимизировать трафик CPI-сети? Как отслеживать фрод и мотивированный трафик?
Рекомендую .
