Важная составляющая работы над мобильными приложениями и сервисами в интернете — настройка системы метрик для успешного развития и управления продуктом. Метрики — это система координат продукта. Ориентируясь на метрики, вы ищите узкие места, а также понимаете, как производимые вами изменения влияют на продукт.
Аналитика по своей сути — это цикл обратной связи на ваши действия. На протяжении жизни человека сопровождает большое количество таких циклов обратной связи, и именно им вы обязаны способности осмысленно жить и учиться. Когда вы работаете над продуктом, то по умолчанию такой системы обратной связи нет, поэтому для эффективной и осмысленной работы вам необходимо создать ее самостоятельно. Именно с этой целью встраиваются системы аналитики, настраиваются мониторинги и работают аналитики, которые, используя данные, ищут пути достижения целей компании.
Но иногда метрики становятся бесполезными, а иногда и вовсе вводят в заблуждение и отправляют по ложному пути. Например, вы можете ошибиться в выборе системы координат, то есть неправильно выбрать ключевые метрики. А можете заняться теоретизированием и придумать ложную теорию, которая объясняет поведение метрик вашего продукта в прошлом, но, скорее всего, не в будущем.
Другая распространенная ошибка заключается в том, что при работе с данными продукт рассматривают как единое целое, рассчитывая ключевые метрики для всего продукта целиком. Именно об этой ошибке сегодня и пойдет речь.
Обратите внимание: материал опубликован в июне 2014 года.
Какие ошибки можно допустить, игнорируя сегментацию
Подход к аналитике, когда продукт рассматривают как единое целое и считают ключевые метрики для него целиком, может привести к ошибкам и неверной интерпретации данных. Я не говорю, что считать метрики для всего продукта не надо (надо), но для понимания сути проистекающих процессов этого недостаточно. Давайте рассмотрим несколько примеров, иллюстрирующих эту мысль.
Пример 1
Давайте предположим, что вы регулярно следите за скачиваниями вашего приложения. Для этого вы отслеживаете количество скачиваний по дням. При этом количество скачиваний колеблется на ±10% день ото дня, и вы знаете, что это совершенно нормальное явление.
Теперь представьте, что в определенный день ваше приложение перестают скачивать, например, во Франции. Франция обеспечивает не более 2-3% всех скачиваний вашего приложения, поэтому подобный провал будет незаметен на фоне ежедневных колебаний и пройдет мимо вас.
Для того чтобы этого не произошло, необходимо выделить несколько основных рынков, которые обеспечивают основную часть скачиваний в отдельные сегменты, а все остальные рынки поместить в отдельную категорию «Остальные». Даже если Франция попала бы в эту специальную категорию «Остальные», то в рамках этой категории спад из-за отсутствия скачиваний во Франции был бы намного более контрастным и не остался бы без вашего внимания.
Чтобы глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в GoPractice.
→ Программа «Профессия: продакт-менеджер» поможет вам перейти в продакт-менеджмент из смежной роли или индустрии.
→ В «Симуляторе управления продуктом на основе данных» вы научитесь принимать решения с помощью данных и исследований при создании продукта.
→ В «Симуляторе управления ростом продукта» найдете пути управляемого роста и масштабирования продукта.
→ В «Симуляторе SQL для продуктовой аналитики» поймете, как применять SQL для решения продуктовых и маркетинговых задач.
→ В мини-симуляторе «Генеративный AI для продакт-менеджеров» вы научитесь применять генеративный AI для создания продуктов, решив практический бизнес-кейс.
→ В «Симуляторе управления ML/AI-проектами» научитесь применять технологии машинного обучения с пользой для бизнеса.
→ Не знаете с чего начать? Пройдите бесплатный тест для оценки навыков управления продуктом. Вы определите свои сильные стороны и слепые зоны, получите план профессионального развития.
→ Еще больше ценных материалов и инсайтов — в телеграм-канале .
Пример 2
Представьте себе крупную компанию с несколькими продуктами. За последний год половина продуктов компании успешно развивалась и росла, а по другим направлениям показатели падали. В итоге в финальной отчетности показатели по всей компании остались на одном уровне.
Если не выделять и не считать ключевые показатели для отдельных направлений, то можно решить, что все стабильно и ничего не происходит, когда на самом деле происходит огромное количество важных процессов. Просто эти процессы компенсируют друг друга, поэтому оказываются скрыты от вашего взора.
Пример с компанией — условный. В рамках любого интернет-сервиса или мобильного приложения также проистекает множество процессов, которые на общих метриках по всему продукту могут компенсировать друг друга, оставляя вас в неведении.
Пример 3
Представьте себе страну, в которой живут великаны и гномы. Если мы посчитаем «средний рост жителя» как среднее арифметическое роста всех жителей страны, то полученное значение нам ничего не расскажет о росте представителей рассматриваемой страны.
Но мы можем выделить великанов в один сегмент, а гномов — в другой, а потом посчитать средний рост в рамках каждого из сегментов. В таком случае средний рост станет осмысленным значением, хорошо описывающим рост представителей выделенных сегментов.
В описанных выше примерах расчет метрик для всей совокупности как для единого целого приводил к следующим ошибкам и заблуждениям:
- пропущенное важное событие в рамках определенного сегмента;
- видимость стабильности, когда в реальности проистекает большое количество важных, но компенсирующихся друг друга событий;
- метрики, оторванные от реальности (из разряда «в среднем по больнице»).
Метрики нужны для того, чтобы прояснить нам, как устроена определенная совокупность, но порой, рассматривая совокупность целиком, мы можем получить цифры, которые ничего не говорят об этой совокупности или о том, что с ней происходит.
Во всех описанных примерах для того, чтобы докопаться до сути происходящих процессов, использовалась сегментация. Сегментация позволяет выделить значимые части целого, изучить каждую в отдельности и оценить то, как каждая из этих частей влияет на показатели всей совокупности. Сегментация — универсальный инструмент для проникновения в суть процессов.
Как выделять полезные сегменты пользователей
Ваши пользователи разные. Пользователи, которые попали на ваш сервис по ссылкам из органической выдачи поисковика отличаются от тех, кто пришел по контекстной рекламе. Пользователи, которые используют ваше приложение на Android, отличаются от тех, кто использует ваше приложение на iOS. Пользователи из США отличаются от пользователей из России.
Повторюсь еще раз. Метрики, посчитанные для всех пользователей сразу, могут оказаться бесполезными, а иногда и вредными, вводящими в заблуждение. Я не говорю, что метрики для продукта целиком считать не надо — надо, но скорее для целей мониторинга и оценки общей ситуации. Для того чтобы понять, как устроено целое и как с этим целом работать и влиять не него, необходимо выделить значимые сегменты целого, разобраться в том, как они работают и какое влияние оказывают на весь продукт.
Теперь встает логичный вопрос о том, как выделять сегменты пользователей. Ваша цель не просто как-то сегментировать пользователей, а получить значимые базисные сегменты, которые определяют поведение целого. Вам надо найти те переменные, которые обуславливают различие в поведении ваших пользователей, но такие, чтобы в рамках каждого сегмента поведение пользователей было достаточно похожим. Вспомните пример со страной великанов и гномов. Если бы мы сегментировали жителей по цвету глаз, то полученные нами значения роста для каждого из сегментов, опять же, имели бы мало пользы.
Поиск значимых переменных обычно производится опытным путем. Вы берете имеющиеся у вас данные и рассчитываете ключевые метрики для разных сегментов, полученных при помощи сегментации по этой переменной. Если в полученных сегментах различий не нашлось, то можно переходить к следующей переменной. Если же различия нашлись, то важно проверить, что полученные различия — не результат влияния какого-то другого фактора, который вы выделили раньше или выделите потом.
В виде алгоритма логика может показаться сложной, но на практике все проще. В случае со страной великанов и гномов у вас могли получиться разные значения среднего роста для сегментов, выделенных на основе цвета глаз, но фактор цвета глаз не являлся значимым, так как различия в росте в полученных сегментах объяснялись разным соотношением великанов и гномов в каждом из сегментов.
В конечном итоге у вас получится ряд переменных, которые определяют различия в поведении ваших пользователей. Обычно среди этих переменных оказываются следующие:
- источник трафика;
- географическое положение (континент, страна, город);
- сезонные факторы (сезон отпусков, праздники);
- характеристики устройства (тип девайса, операционная система, ее версия, браузер);
- социально-демографические показатели;
- факторы, специфичные для вашего конкретного продукта (например, погодные условия для служб доставки еды).
Теперь вы знаете переменные, на основе которых имеет смысл сегментировать ваших пользователей, но в этом процессе важно не зайти слишком далеко, так как при слишком большом количестве сегментов вы не сможете охватить всю информацию разом и понять, как каждый из них влияет на целое. Если одной крайностью является работа с продуктом как с единым целым, то другой — выделение огромного количества сегментов. Ведь даже зная все про каждого отдельного пользователя, вы не найдете способа, как применить эти знания, пока не структурируете и не агрегируете данные.
Далее хочется обсудить ряд конкретных практических кейсов, где сегментация будет вам полезна.
Кейсы использования сегментации
Управление и оптимизация маркетинговых активностей
Использование продукта различными сегментами пользователей часто отличается, равно как и ценность различных сегментов для вашего бизнеса.
Это знание особенно актуально при выстраивании маркетинговых процессов. Если разные сегменты пользователей имеют различную ценность для вашего бизнеса, а также и различную стоимость привлечения, то логично привлекать тех, у кого соотношение этих двух показателей оптимально.
Давайте рассмотрим следующий пример. У вас есть сервис, который вы продвигаете в интернете. У вас есть посадочная страница, на которую приходят новые пользователи, и ее конверсия в регистрацию составляет 0,5%.
Если разобраться, то оказывается, что у вас есть четыре источника трафика — органический поиск, контекстная реклама в «Яндексе», контекстная реклама в Google и баннеры в рекламной сети. При этом конверсия на посадочной странице для поискового трафика составляет 5%, для контекстной рекламы в «Яндексе» и Google — 2,5%, а вот для баннеров — всего 0,2%. При этом вы тратите существенную часть бюджета на баннерную рекламу, так как приведенный пользователь там обходится дешевле, чем в других платных каналах.
Когда вы сегментировали ваш трафик становится понятно, что если вы хотите в несколько раз повысить конверсию главной страницы, вам необходимо перестать покупать баннерную рекламу, а деньги, которые тратились на нее, вложить в контекстную рекламу или в SEO.
Описанный выше пример хорошо иллюстрирует то, как с помощью сегментации можно повысить целевую метрику, но в этом примере я умышленно допустил ошибку, которая встречается повсеместно. Концентрируясь на каком-то одном показателе (в данном случае конверсии посадочной страницы в регистрацию), из виду теряется общая цель компании (пусть в данном случае повышение прибыли). Более высокая конверсия посадочной страницы не является единственным фактором, который определяет прибыль — это лишь один из показателей.
Прибыль в большинстве случаев определяется следующими двумя показателями: CAC (Customer Acquisition Cost, или стоимость привлечения пользователя) и LTV (Life Time Value, или сколько пользователь приносит вам денег за время использования продукта). В описанном выше примере вполне могло оказаться, что несмотря на низкую конверсию в регистрацию баннерного трафика, соотношение LTV / CAC для него было больше, чем, например, у покупного поискового трафика. В таком случае, отключать этот источник трафика было бы неправильным решением. Подобная ошибка часто случается, когда фокусируются на каком-то одном показателе (пусть даже важном), при этом теряя из вида всю картину целиком.
Уточню, что в этом конкретном примере привлеченным пользователем считается тот, кто пришел на наш сайт, то есть CAC равен CPC, а LTV считается для приведенного пользователя, а не для зарегистрировавшегося; порой удобнее считать эти показатели относительно зарегистрировавшегося или заплатившего пользователя.
Объяснение аномальных падений/взлетов метрик
Аналитика нередко используется для того, чтобы разобраться с тем, что уже произошло. А острая мотивация разбираться появляется при аномальном поведении метрик: либо при резких неожиданных падениях, либо же, наоборот, при необъяснимом росте.
Давайте рассмотрим простой пример. У вас есть приложение, им в среднем в день пользуются 100 тысяч пользователей. В определенный день вы видите, что суточная аудитория упала до 60 тысяч пользователей. Что делать и как разобраться, что случилось?
Первым делом имеет смысл начать сегментировать аудиторию по значимым переменным, например, по странам. Предположим, что вы видите, что суточная аудитория в норме во всех странах, кроме Америки, которая и отвечает за весь спад. Таким образом, мы локализовали проблему до одной страны. Идем дальше, сегментируем пользователей из Америки по операционной системе и видим, что падение есть только в Android-версии. Дальше сегментируем Android-пользователей из Америки по версии приложения и видим, что падение есть в текущей и предыдущей версии, в других нет. Теперь проблема локализована, осталось вместе с командой разобраться в причинах.
Давайте рассмотрим другой пример — это реальный пример из моего опыта. Есть популярный веб-сервис, показатели по нему измеряются двумя системами аналитики. По показателям одной из систем наблюдается монотонный рост посещаемости, по показателям другой этого роста нет.
Чтобы локализовать проблему я вначале сегментировал пользователей по источникам трафика. Расхождение в показателях оказалось связано с расхождением в «прямых заходах» (то есть заходы на страницу без реферера, не по ссылке). Следующим шагом я сегментировал прямые заходы по географии: различия были во всех регионах, а значит, географическая принадлежность не влияла на расхождение. Далее сегментировал прямые заходы по операционной системе: в этот раз расхождение нашлось только в одном браузере — в Firefox. Последующая сегментация по версиям браузера показала, что причина расхождения прячутся в недавно выпущенной версии браузера, а если быть точнее, то только в тех версиях, где было установлено расширение «Яндекса» с визуальными закладками.
После локализации проблемы осталось разобраться, как именно визуальные закладки «Яндекса» под эту версию браузера могли влиять на показатели посещаемости и почему эти расхождения были видны лишь в одной системе аналитики. Если не вдаваться в подробности, то проблема была в том, что визуальные закладки с определенной периодичностью самостоятельно посещали сайт, чтобы сделать его скриншот. Во второй системе аналитики проблема не проявлялась, так как Javascript-код, через который она собирает данные, не исполнялся при автоматическом заходе на сайт для получения скриншота.
Построение мониторингов
Еще одно полезное применение сегментации — построение мониторингов ключевых метрик вашего продукта. Дальше я расскажу о том, как я рекомендую строить мониторинги (дашборды).
Сначала предлагаю определиться с целью дашбордов. С моей точки зрения, их цель состоит в том, чтобы всегда видеть перед глазами ключевые показатели, отражающие «здоровье» бизнеса, а также быстро ловить аномальные ситуации, например резкое падение или подозрительный рост метрик.
Можно было бы вывести на графики сходу 100 пользовательских сегментов для всех ключевых метрик, но отслеживать подобный объем информации практически невозможно. Поэтому я бы рекомендовал использовать иерархический подход.
На верхнем (по умолчанию показываемом) уровне вывести основные метрики с минимальной сегментацией или даже без нее. Под каждым из этих графиков добавить ссылку на страницы с сегментацией этих метрик по определенным значимым переменным. На втором уровне повторить туже логику.
Подобная иерархия сохранит чистоту и простоту восприятия, но при этом позволит при необходимости углубиться в детали. В случае аномальных ситуаций вы сможете быстро отлавливать критические ситуации на верхних уровнях, а затем локализовать их, спускаясь вниз по дереву.
Когортный анализ
Когортный анализ — это очень эффективных инструмент продуктовой и маркетинговой аналитики. Суть когортного анализа состоит в том, что мы выделяем группу пользователей по определенным признакам (часто по дате прихода в приложение) и следим за этой группой в течение времени.
Как вы уже могли заметить, когортный анализ является частным случаем сегментации. Подробно про когортный анализ я писал в статье «Когортный анализ. Метрики продукта vs метрики роста».
В заключение
В этом материале мы рассмотрели сегментацию — очень мощный инструмент мобильной и веб-аналитики.
Основные тезисы:
- Расчет метрик для всего продукта целиком может вводить в заблуждение или делать метрики бессмысленными.
- Для эффективной сегментации необходимо выделить значимые переменные, а на их основе уже формировать сегменты пользователей.
- После того, как сегменты выделены, необходимо понять, по каким законам каждый из них устроен и как влияет на целое.
- Сегментация имеет широкий спектр применения: управление маркетинговыми активностями, построение мониторингов, исследование массивов данных, построение продуктовой аналитики.
Задачка на понимание
И, напоследок, интересная задачка. Если вы сможете объяснить парадокс, про который я дальше расскажу, то ваше понимание инструмента сегментации автоматически сделает LEVEL UP.
Одна из основных метрик для поисковиков — доля трафикогенерации, то есть доля переходов на внешние сайты из данного поисковика от всех переходов на внешние сайты из поисковиков.
Задача следующая. Возможно ли, что доля трафикогенерации определенного поисковика растет в каждом из браузеров, но при этом общая доля трафикогенерации падает? Если да, то как?
