10 секретов покупки и аналитики мобильного трафика

Редко встречаются качественные материалы про мобильную аналитику, а тем более про привлечение пользователей для мобильных приложений. Но недавно Mobio опубликовали неплохой гайд про аналитику мобильного трафика и про покупку пользователей в CPI сетях.

Внутри ссылка на оригинальную полную версию гайда, а также ключевые моменты с моими комментариями. Если вы уже знакомы с этим гайдом, то все равно рекомендую прочитать статью, так как в оригинальном гайде есть ряд неточностей и ошибок.

Покупка и аналитика мобильного трафика

 

Полная версия руководства

Полную версию руководства по аналитике и покупке мобильного трафика от Mobio можно найти тут.

 

Покупка и аналитика мобильного трафика

Когортный анализ — единственный правильный способ считать и сравнивать показатели для разных источников трафика.

Для пользователей, пришедших из определенного источника, необходимо считать ключевые метрики на 1,2,3 и так далее дни с момента их прихода в приложение. Для этого при расчете конкретной метрики необходимо всех пользователей из оцениваемой группы разбить по дням прихода и «сместить» их в начало координат.

Зачем? Представьте, что пользователи из источника А пришли за неделю 1, а пользователи из источника B пришли за неделю 2. Если вы будете считать показатели этих источников на конец недели 2, то пользователи из источника А проведут  в приложении больше времени, чем пользователи из источника B. В этом случае сравнение показателей будет нечестным и может привести к неправильным выводам и  решениям.

Подробнее про когортный анализ можно прочитать в моей статье «Когортный анализ. Метрики продукта vs метрики роста».

 

В воронке целевых событий должны быть ивенты, по которым можно оценить качество трафика уже через 1 час или 1 день после начала его закупки

Если вы оцениваете трафик только по ARPU или ROI, то достаточное количество информации для отключения плохого источника у вас появляется слишком поздно.

Для того, чтобы быстро реагировать и отключать плохие источники трафика, необходимо иметь ряд метрик, по которым вы сможете принимать решение быстро (в течение дня или даже нескольких часов после прихода первых пользователей). Подобными метриками могут быть конверсия туториала или, например, 1 Day Retention. По ним вы практически сразу сможете отсечь источники, которые ведут некачественный трафик.

 

Mobio считают, что так надо оценивать источники, но я с ними не соглашусь

«Считать нужно уникальных пользователей, совершивших события, а не общее число событий» говорят ребята из Mobio. В качестве примера приводят следующую ситуацию. Пусть из канала А пришли 1000 пользователей и заплатили 500 долларов. Из канала B пришли 1000 пользователей и заплатили 100 долларов (в рамках данного примера давайте считать, что стоимость пользователей в каждом из каналов одинаковая). Но как оказывается, в канале А было всего 2 платящих пользователя, а в канале B целых 10. Из этого делается вывод, что канал B лучше в долгосрочной перспективе.

Тут я не согласен.

Во-первых, на таких объемах разница в доле платящих статистически незначима. Об этом поговорим чуть дальше, а пока опустим этот момент и будем считать, что конверсии в покупку отражают реальность.

Во-вторых, странно утверждать, что пользователи из канала А хуже, чем пользователи из канала В. Как минимум они заплатили в 5 раз больше, а это как раз то, что нас и интересует (напомню, что стоимость пользователей одинаковая в рамках примера).

В-третьих, если в канале B более высокая конверсия в платящих, то это совершенно не означает, что заплатившие пользователи продолжат платить дальше и в долгосрочной перспективе принесут больше денег (это конечно возможно, но вовсе не гарантировано — в разных продуктах и даже в разных источниках поведение пользователей может отличаться кардинально).

В-четвертых, основная часть денег, которые зарабатывают мобильные игры (а будем честными — практически только мобильные игры и зарабатывают в мобильном мире) приходится на так называемых «китов», которые платят в приложении очень много и приносят большую часть всех денег. Поэтому отметать канал, где такой кит был найден и окупил затраты на покупку трафика только по причине низкой конверсии в платящих, странно.

Но в утверждении ребят из Mobio есть и здравая мысль. Если, например, мы сделали тестовую закупку трафика в нескольких каналах, чтобы принять решение, в какой из каналов нам лучше вкладывать бюджет, и получили такие результаты, то в этом случае с принятием решения надо быть осторожными. Поймать «кита» — это редкое событие (хотя и приятное). Но не факт, что купив еще 20 000 пользователей в канале А, вы поймаете еще хотя бы одного такого пользователя. С другой стороны, возможно, вы нашли место, где можно выцеплять именно таких игроков.

Собственно, что я хочу сказать: с точки зрения пригодности цифр для оценки качества канала и прогнозирования возврата инвестиций, данных по каналу А слишком мало.

 

Доверительные интервалы или сколько же надо пользователей, чтобы достоверно оценить конверсию определенного действия?

Почему-то с вопросом «А сколько нам надо пользователей, чтобы с уверенностью сказать, что конверсия в 10% на нашей выборке с высокой вероятностью отражает реальную картину?» очень часто возникают сложности.

Сложности возникли и у ребят из Mobio. Они вспомнили про доверительные интервалы и математическую статистику, но почему-то в рекомендациях запутались. По их словам при конверсии в целевое действие на уровне 80% достаточно 100 пользователей, чтобы с уверенностью утверждать, что цифрам можно доверять, при конверсии на уровне в 10% достаточно 300-500 пользователей, а при конверсии 1-2% надо хотя бы 1000 пользователей (это не так!). При этом ключевая логика — «чем выше конверсия события, тем меньше нужно инсталлов, чтобы оценить качество».

Во-первых, для оценки конверсии в 90% и 10% с одинаковым доверительным интервалом потребуется одинаковое количество инсталлов.

Во-вторых, я все-таки немного придираюсь, потому что ребята, скорее всего, имели ввиду, что если у вас конверсия 90%, то разброс этой метрики от 85% до 95% для вас намного менее критичен, чем разброс конверсии в 10% в диапазоне от 5% до 15%.

Но все-таки я хочу поделиться с вами калькулятором, который позволяет быстро считать доверительные интервалы и понимать, что в реальности означает ваша конверсия, полученная на тестовой выборке пользователей.

Пользоваться калькулятором очень просто. Представьте, что у вас пришли 1000 пользователей из канала А и 20 из них сделали покупку (2%). Из канала B тоже пришли 1000 пользователей и 30 из них сделали покупки (3%). Можно ли говорить, что канал В лучше канала А?

покупка и аналитика мобильного трафика

доверительные интервалы, конверсия в платящих в рамках источника трафика

Для группы А получаем, что конверсия в 2% на 1000 пользователей, означает, что реальная конверсия в вероятностью 95% находится в интервале от 1,13% до 2,87%.

доверительный интервал конверсии в платящих в мобильном приложении

покупка и аналитика мобильного трафика

Для группы B получаем, что конверсия в 3% на 1000 пользователей, означает, что реальная конверсия в вероятностью 95% находится в интервале от 1,94% до 4,06%.

Оказывается, что доверительные интервалы для наших двух экспериментов пересекаются, поэтому сказать, что группа А лучше конверится в платящих, чем группа B, мы не можем. Надо собирать данные дальше.

 

Убедитесь, что все события для аналитики собираются правильно

Это наиболее важный шаг при интеграции любой системы аналитики (мобильной системы аналитики особенно). Вы хотите принимать решения на основе этих данных, поэтому потратьте час времени и проверьте, что все данные приходят правильно. Я уже публиковал статью про то, как настраивать системы мобильной аналитики, рекомендую вам прочитать.

 

Ключевая метрика для оценки мобильного трафика

Этот пункт я уже добавил от себя (на всякий случай). Не суть важно, какой у вас CPI и какой ARPU. Почему-то при покупке трафика специалисты слишком часто концентрируются на какой-нибудь из этих метрик, забывая при этом про другую. В итоге начинается оптимизация трафика по CPI или по ARPU, а при этом важна лишь метрика  ARPU / CPI.

 

Покупка мобильного трафика в CPI сетях

У меня не очень много опыта в работе с CPI сетями, но если бы я знал ряд вещей, которые я выписал ниже до момента начала работы с ними, то мне бы это очень помогло. Надеюсь, поможет и вам.

 

Как работают CPI сети 

CPI сети — это сети, которые продают вам трафик по фиксированному CPI (по фиксированной цене за установку мобильного приложения).

Важно понимать, что CPI сеть — это агрегатор большого количества разных источников, каждый из которых имеет разную аудиторию и работает по-разному. Поэтому при работе с CPI сетями нет смысла оценивать всю сеть целиком, а надо оценивать каждый отдельный источник трафика в рамках сети.

 

Оценивайте не всю CPI сеть целиком, а каждый отдельный источник в рамках сети 

Для того, чтобы оценивать отдельный источник, необходимо при работе с CPI сетью договориться, чтобы они с каждой установкой передавали в вашу трекинговую систему конкретный источник трафика. Многие CPI сети по умолчанию интегрированы с ключевыми мобильными трекерами (Appsflyer, Adjust, MAT), но у каких-то сетей интеграции может и не быть (тогда надо договариваться лично). В частности, в AppsFlyer информация об источнике обычно передается в параметре af_siteid.

 

Как определяется цена установки в CPI сетях

Можно подумать, что CPI сети работают по принципу, что стоимость установки у них жестко определена, и если вы хотите с ними работать, то вам надо соглашаться на какую-то предопределенную цену.

На самом деле, все работает не так. CPI сети работают по аукционной модели, то есть вы можете поставить любой CPI. При этом важно понимать, что при очень низких значениях CPI, велика вероятность вообще не получить трафика — никто не заинтересуется вашим предложением. Также, выставленное значение CPI в определенной степени влияет на качество трафика, так как высокая ставка позволяет выигрывать конкуренцию за лучшие источники трафика в рамках рекламной сети.

 

Другие полезные хаки в работе с CPI сетями

В руководстве от Mobio есть еще ряд крутых хаков в работе с CPI сетями. Какие дневные лимиты ставить? Как именно оптимизировать трафик CPI сети? Как отслеживать фрод и мотивированный трафик?  Так что рекомендую потратить время и скачать их гайд про покупку и аналитику мобильного трафика.

 

Поделись и подпишись

Уважаемые читатели, если этот материал был вам полезен, то, пожалуйста, поделитесь ссылкой на него в социальных сетях. Спасибо!

Чтобы первыми узнавать о новых публикациях на  Go Practice присоединяйтесь к Facebook группегруппе Вконтакте или подписывайтесь на рассылку по почте.

Запись опубликована в рубрике Аналитика, Без рубрики, Маркетинг с метками , , . Добавьте в закладки постоянную ссылку.
  • Mikhail Trofimov

    Олег, как всегда отличная статья! А ведь действительно, для конверсии в 80% разница в 1% гораздо менее критична, чем при конверсии в 3%. Поэтому можно сделать обратный калькулятор, который помог бы вычислить оптимальное количество пользователей при определенном уровне конверсии. Думаю, для многих это было бы полезно.

  • Mikhail Trofimov

    Олег, как всегда отличная статья! А ведь действительно, для конверсии в 80% разница в 1% гораздо менее критична, чем при конверсии в 3%. Поэтому можно сделать обратный калькулятор, который помог бы вычислить оптимальное количество пользователей при определенном уровне конверсии. Думаю, для многих это было бы полезно.