Сегментация. Основной инструмент мобильной и веб аналитики.

Большинство тех, кто работает над мобильными приложениями и сервисами в интернете, понимают важность системы метрик для успешного развития и управления продуктом. Метрики — это система координат продукта. Ориентируясь на метрики, вы ищите узкие места, а также понимаете, как производимые вами изменения влияют на продукт.

Аналитика по своей сути — это цикл обратной связи на ваши действия. У вас, как у человека, большое количество таких циклов обратной связи, и именно им вы обязаны вашей способности осмысленно жить и учиться. Когда вы работаете над продуктом, то по умолчанию такой системы обратных связей нет, поэтому для эффективной и осмысленной работы вам ее необходимо создать самостоятельно. Именно с этой целью встраиваются системы аналитики, настраиваются мониторинги и работают аналитики, которые, используя данные, ищут пути достижения целей компании.

Но иногда метрики становятся бесполезными, а иногда вводят в заблуждение и отправляют по ложному пути. Например, вы можете ошибиться в выборе системы координат, то есть неправильно выбрать ключевые метрики. А можете заняться теоретезированием и придумать ложную теорию, которая объясняет поведение метрик вашего продукта в прошлом, но, скорее всего, не в будущем.

Другая распространенная ошибка заключается в том, что при работе с данными продукт рассматривают как единое целое, рассчитывая ключевые метрики для всего продукта целиком. Именно об этой ошибке сегодня и пойдет речь.

Сегментация аналитика метрики

Какие ошибки можно допустить, игнорируя сегментацию

Подход к аналитике, когда продукт рассматривают, как единое целое, и считают ключевые метрики для всего продукта целиком, может привести к ошибкам и неверной интерпретации данных. Я не говорю, что считать метрики для всего продукта не надо (надо), но для понимания сути проистекающих процессов этого недостаточно. Давайте рассмотрим несколько примеров, иллюстрирующих эту мысль.

Пример 1

Давайте предположим, что вы регуляно следите за скачиваниями вашего приложения. Для этого вы отслеживаете количество скачиваний по дням. При этом количество скачиваний  колеблется на +-10% день ото дня, и вы знаете, что это совершенно нормальное явление.

Теперь представьте, что в определенный день ваше приложение перестают скачивать, например, во Франции. Франция обеспечивает не более 2-3% всех скачиваний вашего приложения, поэтому подобный провал будет незаметен на фоне ежедневных колебаний и пройдет мимо вас.

Сегментация скачиваний мобильного приложения

 

Для того, чтобы этого не произошло, необходимо выделить несколько основных рынков, которые обеспечивают основную часть скачиваний в отдельные сегменты, а все остальные рынки поместить в отдельную категорию “Остальные”. Даже если Франция попала бы в эту специальную категорию “Остальные”, то в рамках этой категории спад из-за отсутствия скачиваний во Франции был бы намного более контрастным и не остался бы без вашего внимания.

Сегментация скачиваний мобильного приложения

Пример 2

Представьте себе крупную компанию с несколькими продуктами. За последний год половина продуктов компании успешно развивались и росли, а по другим направлениям показатели падали. В итоге в финальной отчетности показатели по всей компании остались на одном уровне.

Сегментация - основной инструмент аналитики

 

Если не выделять и не считать ключевые показатели для отдельных направлений, то можно решить, что все стабильно и ничего не происходит, когда на самом деле проистекает огромное количество важных процессов. Просто эти процессы взаимокомпенсируют друг друга, поэтому оказались скрыты от вашего взора.

 Сегментация прибыли мобильного приложения

 

Пример с компанией – условный. В рамках любого интернет сервиса или мобильного приложения также проистекает множество процессов, которые на общих метриках по всему продукту могут взаимокомпенсировать друг друга, оставляя вас в неведении.

Пример 3

Представьте себе страну, в которой живут великаны и гномы. Если мы посчитаем “средний рост жителя”, как среднее арифметическое роста всех жителей страны, то полученное значение нам ничего не расскажет о росте представителей рассматриваемой страны.

Но мы можем выделить великанов в один сегмент, а гномов в другой, а потом посчитать средний рост в рамках каждого из сегментов. В таком случае средний рост станет осмысленным значением, хорошо описывающим рост представителей выделенных сегментов.

В описанных выше примерах расчет метрик для всей совокупности, как для единого целого, приводило к следующим ошибкам и заблуждениям:

  1. пропущенное важное событие в рамках определенного сегмента
  2. видимость стабильности, когда в реальности проистекает большое количество важных, но взаимокомпенсирующихся событий
  3. метрики, оторванные от реальности (из разряда “в среднем по больнице”)

Метрики нужны для того, чтобы прояснить нам то, как устроена определенная совокупность, но порой рассматривая совокупность целиком, мы можем получить цифры, которые ничего не говорят об этой совокупности или о том, что с ней происходит.

Во всех описанных примерах для того, чтобы докопаться до сути происходящих процессов, использовалась сегментация. Сегментация позволяет выделить значимые части целого, изучить каждую в отдельности и оценить то, как каждая из этих частей, влияет на показатели всей совокупности. Сегментация – универсальный инструмент для проникновения в суть процессов.

 

Как выделять полезные сегменты пользователей

Ваши пользователи разные. Пользователи, которые попали на ваш сервис по ссылкам из органической выдачи поисковика отличаются от тех, кто пришел по контекстной рекламе. Пользователи, которые используют ваше приложение на Android отличаются от тех, кто использует ваше приложение на iOS. Пользователи из США отличаются от пользователей из России.

 Повторюсь еще раз. Метрики, посчитанные для всех пользователей сразу, могут оказаться бесполезными, а иногда и вредными, вводящими в заблуждение. Я не говорю, что метрики для продукта целиком считать не надо – надо, но скорее для целей мониторинга и оценки общей ситуации. Для того, чтобы понять, как устроено целое и как с этим целом работать и влиять не него, необходимо выделить значимые сегменты целого, разобраться в том, как они работают и какое влияние оказывают на весь продукт.

Теперь встает логичный вопрос о том, как выделять сегменты пользователей. Ваша цель не просто как-то сегментировать пользователей, а получить значимые базисные сегменты, которые определяют поведение целого. Вам надо найти те переменные, которые обуславливают различие в поведении ваших пользователей, но такие, чтобы в рамках каждого сегмента поведение пользователей было достаточно похожим. Вспомните пример со страной великанов и гномов. Если бы мы сегментировали жителей по цвету глаз, то, полученные нами значения роста для каждого из сегментов, опять же имели бы мало пользы.

Сегментация пользователей

Поиск значимых переменных обычно производится эмпирическим (опытным) путем. Вы берете имеющиеся у вас данные и рассчитываете ключевые метрики для разных  сегментов, полученных при помощи сегментации по этой переменной. Если в полученных сегментах различий не нашлось, то можно переходить к следующей переменной. Если же различия нашлись, то важно проверить, что полученные различия – не результат влияния какого-то другого фактора, который вы выделили раньше или выделите потом.

В виде алгоритма логика может показаться сложной, но на практике все проще. В случае со страной великанов и гномов у вас могли получиться разные значения среднего роста для сегментов, выделенных на основе цвета глаз, но фактор цвета глаз не являлся значимым, так как различия в росте в полученных сегментах объяснялись разным соотношением великанов и гномов в каждом из сегментов.

В конечном итоге у вас получится ряд переменных, которые определяют различия в поведении ваших пользователей. Обычно среди этих переменных оказываются следующие:

  • источник трафика

  • географическое положение (континент, страна, город)

  • сезонные факторы (праздники, сезон отпусков)

  • характеристики девайса (операционная система, браузер, версия ос, тип девайса)

  • социально демографические показатели

  • факторы, специфичные для вашего конкретного продукта (например, погодные условия для служб доставки еды)

 

Теперь вы знаете переменные, на основе которых имеет смысл сегментировать ваших пользователей, но о в этом процессе важно не зайти слишком далеко, так как при слишком большом количестве сегментов вы не сможете охватить всю информацию разом и понять, как каждый из них влияет на целое. Если одной крайностью является работа с продуктом, как с единым целым, то другой – выделение огромного количества сегментов. Ведь даже зная все про каждого отдельного пользователя, вы не найдете способа как применить эти знания, пока не структурируете и не агрегируете данные.

Далее хочется обсудить ряд конкретных практических кейсов, где сегментация будет вам полезна.

 

Кейсы использования сегментации

Управление и оптимизация маркетинговых активностей

Использование продукта различными сегментами пользователей часто отличается, ровно как и ценность различных сегментов для вашего бизнеса.

 Это знание особенно актуально при выстраивании маркетинговых процессов. Если разные сегменты пользователей имеют различную ценность для вашего бизнеса, а также и различную стоимость привлечения, то логично привлекать тех, у кого соотношение этих двух показателей оптимально.

Давайте рассмотрим следующий пример. У вас есть сервис, который вы продвигаете в интернете. У вас есть посадочная страница, на которую приходят новые пользователи, и ее конверсия в регистрацию составляет 0,5%.

Если разобраться, то оказывается, что у вас есть четыре источника трафика – органический поиск, контекстная реклама в Яндексе, контекстная реклама в Гугле и баннеры в рекламной сети. При этом конверсия на посадочной странице для поискового трафика составляет 5%, для контекстной рекламы в Яндексе и Гугле – 2,5%, а вот для баннеров – всего 0,2%. При этом вы тратите существенную часть бюджета на баннерную рекламу, так как приведенный пользователь там обходится дешевле, чем в других платных каналах.

Сегментация и увеличение конверсии в регистрацию

 

Когда вы сегментировали ваш трафик становится понятно, что если вы хотите в несколько раз повысить конверсию главной страницы, вам необходимо перестать покупать баннерную рекламу, а деньги, которые тратились на нее вложить в контекстную рекламу или в SEO оптимизацию.

Описанный выше пример хорошо иллюстрирует то, как с помощью сегментации можно повысить целевую метрику, но в этом примере я умышленно допустил ошибку, которая встречается повсеместно. Концентрируясь, на каком-то одном показателе (в данном случае конверсии посадочной страницы в регистрацию), из виду теряется общая цель компании (пусть в данном случае повышение прибыли). Более высокая конверсия посадочной страницы не является единственным фактором, который определяет прибыль – это лишь один из показателей.

Прибыль в большинстве случаев определяется следующими двумя показателями – CAC (Customer Acquisition Cost или стоимость привлечения пользователя) и LTV (Life Time Value или сколько пользователь приносит вам денег за время использования продукта). В описанном выше примере вполне могло оказаться, что несмотря на низкую конверсию в регистрацию баннерного трафика, соотношение LTV / CAC для него было больше, чем, например, у покупного поискового трафика. В таком случае, отключать этот источник трафика – было бы неправильным решением. Подобная ошибка часто случается, когда фокусируются на каком-то одном показателе (пусть даже важном), при этом теряя из вида всю картину целиком.

* в данном конкретном примере привлеченным пользователем считается тот, кто пришел на наш сайт, то есть CAC равен CPC, а LTV считается для приведенного пользователя, а не для зарегистрировавшегося; порой удобнее считать эти показатели относительно зарегистрировавшегося или заплатившего пользователя

Сегментация и оптимизация прибыли LTV CAC

Автоматизация маркетинговых активностей

Описанная в предыдущем пункте логика лежит в основе построения маркетингового конвеера для привлечения клиентов для вашего бизнеса. Эта логика достаточно просто превращается в алгоритм, что и сделал Григорий Бакунов из Яндекса, помогая одному из проектов.

Я очень рекомендую просмотреть видео с его рассказом про этот кейс. Эта история – замечательная иллюстрация применения сегментации, а также использования машинного обучения для автоматизации аналитической и маркетинговой деятельности компании.

То, что было сделано для построения продвижения продукта можно кратко описать следующим образом.

  1. На фейсбуке было создано огромное количество рекламных кампаний для разных сегментов пользователей (сегменты формировались на основе предполагаемых значимых переменных)
  2. Были подготовлены разные посадочные страницы
  3. Был разработан алгоритм, который определял и выдавал оптимальную посадочную страницу для каждого сегмента трафика, оптимизируя целевую метрику (конверсию в покупки).

С моей точки зрения, не хватает лишь одного шага в этом алгоритме (хотя я предполагаю, что он делался вручную). Шаг заключается в следующем. Отключение “плохих” источников трафика и перенаправление их бюджетов на “хорошие” источники трафика.

Объяснение аномальных падений/взлетов метрик

 Аналитика нередко используется для того, чтобы разобраться с тем, что уже произошло. А острая мотивация разбираться появляется при аномальном поведении метрик – либо при резких неожиданных падениях, либо же, наоборот, при необъяснимом росте.

Давайте рассмотрим простой пример.  У вас есть приложение и им в среднем в день пользуются 100 000 пользователей. В определенный день вы видите, что суточная аудитория упала до 60 000 пользователей. Что делать, как разобраться, что случилось?

Первым делом имеет смысл начать сегментировать аудиторию по значимым переменным, например, по странам. Предположим, что вы видите, что суточная аудитория в норме во всех странах, кроме Америки, которая и отвечает за весь спад. Таким образом, мы локализовали проблему до одной страны. Идем дальше, сегментируем пользователей из Америки по операционной системе и видим, что падение есть только в Android версии. Дальше сегментируем Android пользователей из Америки по версии приложения – видим, что падение есть в текущей и предыдущей версии, в других нет.Теперь проблема локализована, осталось вместе с командой разобраться в причинах.

Давайте рассмотрим другой пример – это реальный пример из моего опыта. Есть популярный веб сервис, показатели по нему измеряются двумя системами аналитики. По показателям одной из систем наблюдается монотонный рост посещаемости, по показателям другой этого роста нет.

Чтобы локализовать проблему я вначале сегментировал пользователей по источникам трафика. Расхождение в показателях оказалось связано с расхождением в “прямых заходах” (то есть заходы на страницу без реферера, не по ссылке). Следующим шагом я сегментировал прямые заходы по географии – различия были во всех регионах, значит географическая принадлежность не влияла на расхождение. Далее сегментировал прямые заходы по операционной системе – в этот раз расхождение нашлось только в одном браузере – в Firefox. Последующая сегментация по версиям браузера показала, что причина расхождения прячутся в недавно выпущенной версии браузера, а если быть точнее то только в тех версиях, где было установлено расширение Яндекса с визуальными закладками.

После локализации проблемы осталось разобраться, как именно визуальные закладки Яндекса под эту версию браузера, могли влиять на показатели посещаемости, и почему эти расхождения были видны лишь в одной системе аналитики. Если не вдаваться в подробности, то проблема была в том, что визуальные закладки с определенной периодичностью самостоятельно посещали сайт, чтобы сделать его скриншот. Во второй системе аналитики проблема не проявлялась, так как Javascript код, через который она собирает данные, не исполнялся при автоматическом заходе на сайт для получения скриншота.

 

Построение мониторингов

Еще одно полезное применение сегментации – посроение мониторингов ключевых метрик вашего продукта. Дальше я расскажу о том, как я рекомендую строить мониторинги (дешборды).

Сначале предлагаю определиться с целью дешбордов. С моей точки зрения, их цель состоит в том, чтобы всегда видеть перед глазами ключевые показатели, отражающие “здоровье” бизнеса, а также быстро ловить аномальные ситуации из разряда резкое падение / подозрительный рост метрик.

Можно было бы вывести на графики сходу 100 пользовательских сегментов для всех ключевых метрик, но отслеживать подобный объем информации практически невозможно. Поэтому я бы рекомендовал использовать иерархический подход.

На верхнем (по умолчанию показываемом) уровне вывести основные метрики с минимальной сегментацией или даже без нее. Под каждым из этих графиков добавить ссылку на страницы с сегментацией этих метрик по определенным значимым переменным. На втором уровне повторить туже логику.

Подобная иерархия сохранит чистоту и простоту восприятия, но при этом позволит при необходимости углубиться в детали. В случае аномальных ситуаций вы сможете быстро отлавливать критические ситуации на верхних уровнях, а затем локализовывать их, спускаясь вниз по дереву.

Когортный анализ

Когортный анализ – это очень эффективных инструмент продуктовой и маркетинговой аналитики. Суть когортного анализа состоит в том, что мы выделяем группу пользователей по определенным признакам (часто по дате прихода в приложение) и следим за этой групой в течение времени.

Как вы уже могли заметить, когортный анализ является частным случаем сегментации. Подробно про когортный анализ я писал в статье “Когортный анализ. Метрики продукта vs метрики роста”

 

В заключении

Итак. В рамках данной статьи был рассмотрен инструмент сегментации – очень мощный инструмент мобильной и веб аналитики.

Я буду рад, если следующие тезисы окажутся тем, что вы почерпнули из этого материала.

  1. Расчет метрик для всего продукта целиком может вводить в заблуждение или делать метрики бессмысленными.
  2. Для эффективной сегментации необходимо выделить значимые переменные, а на их основе уже формировать сегменты пользователей.
  3. После того, как сегменты выделены, необходимо понять, по каким законам каждый из них устроен и как влияет на целое.
  4. Сегментация имеет широкий спектр применения – управления маркетинговыми активностями, построение мониторингов, исследование массивов данных, построение продуктовой аналитики.

 

Задачка на понимание

И, напоследок, интересная задачка. Если вы сможете объяснить парадокс, про который я дальше расскажу, то ваше понимание инструмента сегментации автоматически сделает LEVEL UP.

Одна из основных метрик для поисковиков – доля трафикогенерации, то есть доля переходов на внешние сайты из данного поисковика от всех переходов на внешние сайты из поисковиков.

Задача следующая. Возможно ли, что доля трафикогенерации определенного поисковика растет в каждом из браузеров, но при этом общая доля трафикогенерации падает? Если да, то как?

 




Подписка на рассылку новых материалов

Уважаемые читатели, подпишитесь на рассылку новых материалов блога. Вы будете получать не более одного письма в неделю с интересными и полезными статьями про аналитику и маркетинг в интернете.



Запись опубликована в рубрике Аналитика, Без рубрики, Маркетинг, Предпринимательство с метками , , . Добавьте в закладки постоянную ссылку.
  • Сергей Зинкин

    спасибо за статью, очень полезно. По задачке есть такой вариант ответа:
    Доля в браузерах увеличивается из-за того, что другие поисковики стали генерировать переходы не в браузерах и это кол-во переходов растет, а рассматриваемый поисковик только в браузерах.
    Соответственно, доля по браузерам будет расти, так как другие поисковики там стали меньше генерировать. Общая доля будет падать, т.к. этот поисковик не представлен там, где другие есть.

    • Олег Якубенков

      Привет
      В рамках задачи считается, что переходов не в браузерах не бывает. Люди пользуются поисковиками только в браузерах

      • Сергей Зинкин

        вроде понял – такая ситуация будет в том случае, если со временем общее кол-во переходов в абсолютных числах растет. Даже если доли поисковика во всех браузерах растут, но меньше общего роста всего “рынка”, то доля поисковика на всем “рынке” будет падать.

  • Anton Gaenko

    Да, возможно, если продолжает расти общее число переходов.

    Например, утрировано
    Браузер Х – общее число переходов 100`000, доля нашего поисковика Лаки 1 переход
    Браузер Y – общее число 10 переходов и доля нашего поисковика снова 1 перехов
    Общая доля нашего Лаки 0,002%

    Теперь общее число переходов по браузеру Х достигло 500’000, а Y не вырос.
    При этом Лаки стабильно рос по каждому из них.
    Имеем,
    Браузер Х – общее число переходов 500`000, доля нашего поисковика Лаки выросла до 6 переходов
    Браузер Y – общее число 10 переходов и доля нашего поисковика выросла до 2 переходов

    Теперь общая доля Лаки 0,0016%

    Как-то так :)

    • Олег Якубенков

      Принимается :)
      Но можно более красиво и лаконично идею сформулировать

      • vik

        Увеличивается вес конкретного сегмента.
        Так?

        • Олег Якубенков

          Да. Того, где доля ниже, чем в среднем по рынку

    • Natalia Babaeva

      Антон, разве справедливо говорить о доле в штуках? (1 переход, 6 переходов)

      • Anton Gaenko

        @nataliababaeva:disqus вот ваша доля: 3 яблока и 100 рублей :)) или я не правильно понял вопрос?

  • Viktor Bomberov

    Спасибо, всё четко описано, вот только я бы жирным выделил, что сегментацию надо производить исходя из цели кампании.

    По задаче: сайту сдающему в прокат мопеды в Урюпинске написали/добавили модуль, генерирующий YML-файл, из-за чего он поднялся в выдаче и трафикогенерация Yandex начала расти, но сегмент клиентов, пользующихся поиском мэйлру так и остался покрытым, а в гугле сайт упал в выдаче, возможно попал под фильтр.

  • Denny Smirnov

    С удивлением прочитал про спровоцировавшие такой значительный шум скриншоты от закладок. Мне самому пришлось столкнуться с этой напастью где-то полтора года назад, только источник тогда выяснять не стал, забанил айпишник :).

  • Олег Семёновых

    “* в данном конкретном примере привлеченным пользователем считается
    тот, кто пришел на наш сайт, то есть CAC равен CPC, а LTV считается для
    приведенного пользователя, а не для зарегистрировавшегося; порой удобнее
    считать эти показатели относительно зарегистрировавшегося или
    заплатившего пользователя”

    интересно закручен сюжет, но я не осилил, даже глядя в табличку с цифрами
    Например для баннера – затраты были 1 млн, а соотношение – 8 т.е. все клиенты в итоге принесли 8 млн, так в итоге получается – ?

  • Александр Бухаленков

    Интересно, в чем польза считать LTV для приведенного пользователя, а не для заплатившего? Получается ведь то же “в среднем по больнице”