Все материалы подборки
Данные и аналитика

Материалы о работе с данными и аналитике. Как настроить аналитику мобильного приложения, как проводить эффективные A/B-тесты и эксперименты, как принимать решения на основе данных.
Автор:
Дима Золотухин
Как в Flo повысили долю успешных A/B-тестов на 30% через внедрение нового процесса работы с гипотезами

Одна из важных составляющих успешных экспериментов в работе над продуктом — отсутствие монополии на формулирование гипотез. Так в создании гипотез, их приоритизации и тестировании участвует вся команда: продакт-менеджеры, аналитики, дизайнеры, UX-исследователи и разработчики.

О том, как благодаря внедрению нового процесса работы с гипотезами для A/B тестирования в Flo (лидер среди приложений в сфере женского здоровья) удалось увеличить долю успешных экспериментов на 30%, рассказывает Head of Analytics Flo Дима Золотухин в своем материале для GoPractice.

Как в Flo повысили долю успешных A/B-тестов на 30% через внедрение нового процесса работы с гипотезами
(далее…)
Автор:
Олег Якубенков
Ответы на частые вопросы про настройку и выбор систем аналитики

В чате Ask Kevin участники регулярно задают вопросы про настройку и выбор систем аналитики данных для мобильных приложений и веб-сервисов. Антон Елфимов уже давно помогает сообществу, поэтому мы предложили ему сделать подборку ответов на самые распространенные вопросы.

Антон Елфимов – аналитик-консультант, c 2012 года помогает разным компаниям внедрять и получать инсайты из систем аналитики (Google Analytics, Mixpanel, Amplitude, Appsflyer и т.д.)

Далее повествование ведется от лица автора.

Настройка аналитики – важный и сложный процесс. Важный, потому что ошибки, сделанные на этапе настройки и интеграции аналитики, не позволят в будущем ответить на ключевые вопросы, либо же приведут к ошибочным выводам. Сложный, так как есть множество неочевидных моментов, которые вызывают проблемы у продуктовых и маркетинговых команд.

В этой статье будут собраны ответы на вопросы, которые возникают в чате ”Ask Kevin!” по поводу настройки cистем аналитики. Если у вас есть вопросы по этим темам, то напишите их в комментариях к статье, либо задайте в чате ”Ask Kevin!” (не забудьте тегнуть @antonelfimov).

Если вы хотите глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.

→ «Симулятор управления продуктом на основе данных» поможет научиться принимать решения с помощью данных и исследований при создании продукта (путь от 0 к 1).

→ «Симулятор управления ростом продукта» поможет найти пути управляемого роста и масштабирования продукта. Вы построите модель роста и составите стратегию развития продукта (путь от 1 к N).

→ «Симулятор SQL для продуктовой аналитики» поможет освоить SQL и применять его для решения продуктовых и маркетинговых задач.

Не знаете с чего начать? Пройдите бесплатный тест для оценки навыков управления продуктом. Вы определите свои сильные стороны и слепые зоны, получите план профессионального развития.

Еще больше ценных материалов и инсайтов — в телеграм-канале GoPractice.

Ответы на частые вопросы про настройку и выбор систем аналитики
обзор типов систем аналитики: от маркетинговой до глубокой продуктовой аналитики
(далее…)
Автор:
Олег Якубенков
Обзор систем аналитики: маркетинговой, сквозной, продуктовой. Какие системы аналитики и для чего интегрировать в продукт

Этот пост написан Антоном Елфимовым, аналитиком-консультантом. С 2012 года Антон помогает компаниям внедрять и получать инсайты из систем аналитики (Google Analytics, Mixpanel, Amplitude, Appsflyer и т.д.)

Далее повествование ведется от лица Антона.

Ко мне часто обращаются с вопросом: “Мы планируем внедрять аналитику в продукт. Какие системы аналитики стоит использовать?”

Любая система аналитики – это всего лишь инструмент. Поэтому при выборе системы аналитики для вашего продукта вам нужно сначала составить список задач, которые вы хотите решать с ее помощью.

Если вы хотите глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.

→ «Симулятор управления продуктом на основе данных» поможет научиться принимать решения с помощью данных и исследований при создании продукта (путь от 0 к 1).

→ «Симулятор управления ростом продукта» поможет найти пути управляемого роста и масштабирования продукта. Вы построите модель роста и составите стратегию развития продукта (путь от 1 к N).

→ «Симулятор SQL для продуктовой аналитики» поможет освоить SQL и применять его для решения продуктовых и маркетинговых задач.

Не знаете с чего начать? Пройдите бесплатный тест для оценки навыков управления продуктом. Вы определите свои сильные стороны и слепые зоны, получите план профессионального развития.

Еще больше ценных материалов и инсайтов — в телеграм-канале GoPractice.

Обзор систем аналитики: маркетинговой, сквозной, продуктовой. Какие системы аналитики и для чего интегрировать в продукт

Типы аналитических задач и соответствующие системы аналитики

Системы аналитики и соответствующие им аналитические задачи можно разделить на следующие типы:

  • системы маркетинговой аналитики (расчет стоимости привлечения и ROI, отслеживание источников трафика)
  • системы продуктовой аналитики (анализ поведения пользователей в продукте, анализ влияния продуктовых изменений на пользователей)
  • системы для глубокого продвинутого анализа данных (глубокая продуктовая аналитика, построение прогнозных моделей, поиск корреляций между действиями пользователей)
  • системы мониторинга (все ли хорошо с продуктом на разных уровнях его функционирования)

Далее мы обсудим все основные типы аналитических задач и инструменты для их решения.

Системы маркетинговой аналитики и задачи, которые они решают

Маркетинговой команде важно уметь отслеживать трафик и понимать, как он проходит сквозь воронку привлечения, как конвертируется на каждом этапе.

Поэтому для маркетинговой аналитики нужны инструменты, которые решают следующие задачи:

  • Определение источника трафика, лидов, регистраций, установок, клиентов.
  • Расчет стоимости привлечения лида, регистрации, установки приложения (CPL, CPR, CPI) и стоимость привлечения клиента (CAC).
  • Расчет ROI/ROMI по платным рекламным кампаниям и каналам с применением разных моделей атрибуции.

Инструменты для маркетинговой аналитики для веб-сервисов и мобильных приложений отличаются, поэтому будем с ними разбираться отдельно.

Сквозная маркетинговая аналитика для веб-сервисов

Основные задачи маркетинговой аналитики для веб-сервисов решают с помощью инструментов сквозной аналитики.

Инструменты сквозной аналитики работают по следующему алгоритму:

  1. Выгрузить данные о расходах из рекламных систем (Google Ads, Яндекс Директ, Facebook Ads и тд).
  2. Выгрузить данные о целевых действиях (регистрациях, заказах, оплатах) и о доходах из CRM или базы данных.
  3. Загрузить данные о расходах и доходах в единую базу данных и объединить их по какому-либо общему параметру (user_id, client_id).
  4. Построить нужные маркетологу отчеты с возможностью переключать модели атрибуции конверсий.
  5. Принять решение о том, какие кампании масштабировать, какие улучшать, какие остановить.

Чтобы понять, что такое модель атрибуции, какие они бывают, как работают и какие в них есть подводные камни рекомендую посмотреть видео Ильи Красинского.

Есть два типа решений сквозной аналитики:

  1. Сервисы сквозной аналитики (Roistat, Alytics, Rick.ai, Calltouch, Comagic, Primegate, Utmstat и другие).
  2. Сборные схемы сквозной аналитики.

Сервисы сквозной аналитики закрывают большинство задач маркетинговой аналитики с помощью своих базовых отчетов. Если данные о лидах и клиентах у вас хранятся в одной из популярных CRM, то это сервисы можно быстро настроить, часто без помощи разработчиков.

Если нужна очень большая гибкость в отчетах, то в этом случае вы можете собрать своё решение для маркетинговой сквозной аналитики. Для этого понадобятся следующие составные части:

  1. Хранилище данных (Google BigQuery, Google Analytics, RedShift, ClickHouse и другие).
  2. Коннекторы для передачи данных о расходах и доходах (OWOX BI Pipeline, Stitch, GA Connector и другие).
  3. Визуализаторы (Google Data Studio, Power BI, Tableau, Redash и другие).
Обзор систем аналитики

Я рекомендую для расширенной маркетинговой аналитики использовать связку Google Analytics + OWOX BI Pipeline + Google BigQuery + Google Data Studio.

Маркетинговая аналитика для мобильных приложений

Проанализировать эффективность каналов привлечения для мобильных продуктов сложнее, чем для веб-сервисов, так как между переходом пользователя по рекламе и установкой приложения находится посредник – магазин приложений (App Store или Google Play). Именно на этом шаге информация об источнике трафика теряется.

Для решения задачи определения источника трафика для новых пользователей мобильных приложений используют специальные системы для аналитики и атрибуции мобильного трафика. Для маркетинговой аналитики мобильных продуктов обычно используют:

Системы маркетинговой аналитики для мобильных приложений работают следующим образом (это упрощенная схема для вашего понимания):

  • Вы создаете в интерфейсе системы аналитики специальную ссылку и используете ее в рекламной кампании.
  • Когда пользователь кликает по рекламной ссылке, то он сначала попадает на сервис редиректов системы аналитики, а лишь потом в магазин приложений. Для пользователя это все происходит бесшовно, то есть выглядит просто, как переход в магазин приложений. Но на этом промежуточном этапе система аналитики сохраняет информацию о пользователе и о его источнике трафика.
  • Пользователь устанавливает приложение и запускает его. SDK системы аналитики (интегрируется в приложение заранее), отправляет событие установки на сервер системы аналитики с информацией про пользователя.
  • В этот момент система аналитики находит соответствие между теми, кто проходил через ее сервис редиректов и информацией о новом пользователе, таким образом, определяя источник трафика. Если соответствия нет, то система аналитики считает, что этот пользователь пришел органически.
  • Далее SDK системы аналитики отправляет дополнительные данные о действиях пользователя в приложении (например, прохождение онбординга, покупки) на сервер системы аналитики.
  • Система аналитики также получает от рекламных систем данные о расходах по рекламным кампаниям.
  • Система аналитики связывает между собой данные о кликах по рекламе, установках приложения, расходах и доходах от покупок внутри приложения.

Подробнее прочитать про то, как работают алгоритмы определения источников установок мобильных продуктов, можно здесь.

Схема работы трекинга в AppMetrica

Таким образом, в системе аналитики вы видите статистику в разбивке по каналам и кампаниям: объем трафика, конверсии, расходы и доходы. Далее эти данные можно анализировать в любых удобных вам срезах.

Пример сводного отчета в Appsflyer

Системы продуктовой аналитики и задачи, которые они решают

У продакт-менеджеров и других членов продуктовых команд есть большой пласт задач, связанный с пониманием продукта и его пользователей:

  • Поиск препятствий на пути пользователя к решению задачи в продукте.
  • Оценка популярности разной функциональности продукта.
  • Измерение эффекта от сделанных изменений на ключевые продуктовые метрики.
  • Оценка результатов А/В тестов.

Эти задачи можно решить с помощью инструментов продуктовой аналитики, в которых есть готовые отчеты для анализа воронок, когортного анализа, расчета Retention, анализа монетизации и т.д.

Наиболее яркими представителями сервисов для продуктовой аналитики являются:

  • Amplitude;
  • Mixpanel;
  • Woopra;
  • Heap Analytics.

Из огромного количества систем аналитики хочется отдельно выделить Amplitude как оптимальный инструмент для тех, кто сфокусирован на развитии продукта. У этой системы аналитики есть бесплатный тарифный план с очень хорошим пакетом базовых отчетов и большим лимитом событий (10 млн событий в месяц).

Amplitude – это базовая система продуктовой аналитики, которую можно использовать для решения разных типов аналитических задач:

  • есть бесплатный план с базовыми отчетами, которые закрывают 80-95% задач продуктовой аналитики;
  • есть возможность выгружать данные, чтобы потом обработать в Excel/Google Spreadsheets;
  • есть возможность подключить BI инструменты, чтобы делать кастомные отчеты и более глубокую продуктовую аналитику;
  • можно создавать дашборды для всей команды, чтобы мониторить метрики продукта на разных уровнях воронки;
  • можно даже настроить передачу данных о каналах привлечения и оценивать маркетинговые метрики, но все же лучше для этого использовать специализированные сервисы.

Для решения задач более глубокой аналитики (создания кастомных отчетов, поиска корреляции между действиями в продукте, построения прогнозных моделей для выручки или оттока пользователей) нужны инструменты BI анализа и визуализации данных.

Для этих задач обычно используют Power BI, Tableau, Google Data Studio. Для работы с этими инструментами потребуются знания SQL или Python.

Обзор типов систем аналитики: от маркетинговой до глубокой продуктовой аналитики

Для решения разных типов аналитических задач вам нужны разные инструменты. В зависимости от стадии развития вашего продукта и типа аналитических задач вам надо выбрать от 1 до 4 систем аналитики, каждая из которых закрывает аналитические задачи разных типов.

Популярные системы аналитики для разных типов аналитических задач

Некоторые аналитические системы помогают решать несколько типов аналитических задач, например, Google Analytics можно использовать для маркетинговой аналитики и для продуктовой аналитики при грамотной настройке отправки событий из продукта.

Хорошей практикой является интеграция как минимум двух систем аналитики в свой продукт. Это нужно для подстраховки, чтобы, например, сделать быструю проверку данных в обеих системах перед принятием важных и рискованных решений. Также если в одной из систем аналитики что-то пойдет не так и данные потеряются, то будет возможность проанализировать данные в другой системе.

Оптимальный набор аналитических инструментов для мобильных и веб продуктов

На практике оптимальный набор аналитических инструментов для веб-продуктов выглядит следующим образом:

  • Segment в качестве Customer Data Hub
  • Google Analytics
  • OWOX BI Pipeline или Stitch Data
  • Amplitude
  • Mode Analytics (для задач продвинутой аналитики данных)

Оптимальный набор аналитических инструментов для мобильных продуктов:

  • Segment в качестве Customer Data Hub
  • Firebase (бесплатная система аналитики на всякий случай)
  • Appsflyer (система маркетинговой аналитики)
  • Amplitude (система продуктовой аналитики)
  • Mode Analytics.

В обоих наборах есть Mode Analytics в качестве системы аналитики для продвинутых задач. В Mode можно использовать SQL, Python и R для анализа данных, строить практически любые дашборды и отчеты и делиться ими с коллегами.

У вас есть еще вопросы про настройку систем аналитики?

Данная статья является частью постоянно обновляющегося материала с популярными вопросами и ответами про настройку и выбор систем аналитики. Если у вас есть вопросы, то вы можете задать их в комментариях к той статье, и мы постараемся ответить.

Если вы хотите глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.

→ «Симулятор управления продуктом на основе данных» поможет научиться принимать решения с помощью данных и исследований при создании продукта (путь от 0 к 1).

→ «Симулятор управления ростом продукта» поможет найти пути управляемого роста и масштабирования продукта. Вы построите модель роста и составите стратегию развития продукта (путь от 1 к N).

→ «Симулятор SQL для продуктовой аналитики» поможет освоить SQL и применять его для решения продуктовых и маркетинговых задач.

Не знаете с чего начать? Пройдите бесплатный тест для оценки навыков управления продуктом. Вы определите свои сильные стороны и слепые зоны, получите план профессионального развития.

Еще больше ценных материалов и инсайтов — в телеграм-канале GoPractice.

Автор:
Олег Якубенков
Почему ваши A/B-тесты требуют больше времени, чем могли бы

При проведении экспериментов обычно в них добавляют всех активных пользователей, иногда всех новых пользователей, при расчете метрик учитывают все данные с момента старта A/B-теста.

Сегодня поговорим о том, как можно сократить время для получения сигнала о влиянии тестируемого изменения, изменив процесс добавления пользователей в A/B-тест.

Почему ваши A/B-тесты требуют больше времени, чем могли бы
(далее…)
Автор:
Олег Якубенков
Как не надо анализировать A/B-тесты. Проблема подглядывания

При дизайне, запуске и анализе A/B тестов можно допустить много ошибок, но одна из них особенно коварна. Речь о «peeking problem» или «проблеме подглядывания», когда решение об изменениях в продукте принимается на основе промежуточных результатов теста.

Эту ошибку допускают и те, у кого много опыта в A/B тестировании и кто понимает, как оценить статистическую значимость наблюдаемых изменений.

В этом материале мы разберем, зачем измерять статистическую значимость и как проблема подглядывания мешает правильному анализу результатов эксперимента.

Как не надо анализировать A/B-тесты. Проблема подглядывания
(далее…)
Автор:
Олег Якубенков
Ухудшающие A/B-тесты — самый недооцененный инструмент менеджера продукта

Давайте начнем с практической задачи.

Руководство компании хочет инвестировать значительные ресурсы в разработку инфраструктуры, необходимой для увеличения скорости работы приложения. Гипотеза состоит в том, что если продукт будет работать быстрее, то это позитивно повлияет на опыт пользователей и ключевые метрики продукта.

Придумайте эксперимент (A/B-тест) для проверки этой гипотезы.

Ухудшающие A/B-тесты — cамый недооцененный инструмент менеджера продукта
(далее…)
Автор:
Олег Якубенков
В поисках пичков. Повышаем эффективность дашбордов

Менеджер попросил аналитика: «Выведи мне на дашборд ретеншн первого, третьего и седьмого дней в динамике.» Аналитик ответил менеджеру: «Ты уверен? Графики  будут шумные. Посмотри как сильно скачет метрика день ото дня. Давай лучше следить за недельным ретеншеном. Там случайные колебания сглаживаются.» На этом и сошлись.

Теперь на дашборде раз в неделю появлялась новая точка. Своим внешним видом она говорила: «Все спокойно, ничего не поменялось.» Но порой за внешним спокойствием скрывались бури повседневной жизни — дни взлетов и падений, побед и поражений, будней и выходных. Но о них так никто и не узнал, так как при суммировании сглаживались и неслучайные колебания тоже.

Если вы хотите глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.

→ «Симулятор управления продуктом на основе данных» поможет научиться принимать решения с помощью данных и исследований при создании продукта (путь от 0 к 1).

→ «Симулятор управления ростом продукта» поможет найти пути управляемого роста и масштабирования продукта. Вы построите модель роста и составите стратегию развития продукта (путь от 1 к N).

→ «Симулятор SQL для продуктовой аналитики» поможет освоить SQL и применять его для решения продуктовых и маркетинговых задач.

Не знаете с чего начать? Пройдите бесплатный тест для оценки навыков управления продуктом. Вы определите свои сильные стороны и слепые зоны, получите план профессионального развития.

Еще больше ценных материалов и инсайтов — в телеграм-канале GoPractice.

повышаем эффективность дашборда
(далее…)
Автор:
Олег Якубенков
Amplitude. Лучшая система аналитики для мобильных приложений и веб сервисов

Почти два года назад я делал сравнение популярных систем аналитики для мобильных приложений. Тогда моим фаворитом была система аналитики Mixpanel. Но рынок не стоит на месте, и теперь у меня появилась новая любимая система аналитики — Amplitude.

Далее в статье я подробно расскажу про все преимущества  Amplitude, но вот краткий набор причин, почему это система аналитики для мобильных приложений и веб сервисов заслуживает вашего внимания:

  1. Amplitude — улучшенная версия Mixpanel в плане возможностей для аналитики (сегментация ивентов, воронки, ретеншн, когортный анализ, профили пользователей, live view, очень гибкое формирование  сегментов и когорт, дешборды, данные в реальном времени и многое другое)
  2. Amplitude в разы дешевле Mixpanel. А при объеме ивентов менее 10 миллионов в месяц и вовсе бесплатная.

Заинтересовал? Тогда к деталям.

система аналитики мобильных приложений Amplitude
(далее…)
Автор:
Олег Якубенков
Аналитика без цифр. Смотрим на продукт глазами пользователей

1. Для сокращения полной неопределенности требуется очень много данных.

2. Люди, работающие над продуктами, хорошо понимают и знают своих пользователей.

Приведенные выше утверждения — это заблуждения, а значит обратные им — истина. Сегодня мы поговорим о том, как обратное утверждение для первого заблуждения способно помочь исправить неприятную истину, выходящую из заблуждения номер два.

разбор сессий пользователей
(далее…)
Автор:
Олег Якубенков
Сегментация. Основной инструмент мобильной и веб аналитики.

Большинство тех, кто работает над мобильными приложениями и сервисами в интернете, понимают важность системы метрик для успешного развития и управления продуктом. Метрики — это система координат продукта. Ориентируясь на метрики, вы ищите узкие места, а также понимаете, как производимые вами изменения влияют на продукт.

Аналитика по своей сути — это цикл обратной связи на ваши действия. У вас, как у человека, большое количество таких циклов обратной связи, и именно им вы обязаны вашей способности осмысленно жить и учиться. Когда вы работаете над продуктом, то по умолчанию такой системы обратных связей нет, поэтому для эффективной и осмысленной работы вам ее необходимо создать самостоятельно. Именно с этой целью встраиваются системы аналитики, настраиваются мониторинги и работают аналитики, которые, используя данные, ищут пути достижения целей компании.

Но иногда метрики становятся бесполезными, а иногда вводят в заблуждение и отправляют по ложному пути. Например, вы можете ошибиться в выборе системы координат, то есть неправильно выбрать ключевые метрики. А можете заняться теоретезированием и придумать ложную теорию, которая объясняет поведение метрик вашего продукта в прошлом, но, скорее всего, не в будущем.

Другая распространенная ошибка заключается в том, что при работе с данными продукт рассматривают как единое целое, рассчитывая ключевые метрики для всего продукта целиком. Именно об этой ошибке сегодня и пойдет речь.

Сегментация аналитика метрики
(далее…)