В поисках пичков. Повышаем эффективность дашбордов.

Менеджер попросил аналитика: “Выведи мне на дашборд ретеншн первого, третьего и седьмого дней в динамике.” Аналитик ответил менеджеру: “Ты уверен? Графики  будут шумные. Посмотри как сильно скачет метрика день ото дня. Давай лучше следить за недельным ретеншеном. Там случайные колебания сглаживаются.” На этом и сошлись.

Теперь на дашборде раз в неделю появлялась новая точка. Своим внешним видом она говорила: “Все спокойно, ничего не поменялось.” Но порой за внешним спокойствием скрывались бури повседневной жизни – дни взлетов и падений, побед и поражений, будней и выходных. Но о них так никто и не узнал, так как при суммировании сглаживались и неслучайные колебания тоже.

P.S. Подписывайтесь на мою страницу в FB. В будущем буду там публиковать анонсы новых постов, а также мысли, которые не вписываются в формат блога.

повышаем эффективность дашборда

Зачем нужны дашборды?

Обычно дашборд отвечает для руководителя на один ключевой вопрос: “Все ли хорошо?” Дальше есть два варианта. Если все нормально, то на этом потребность в дашборде отпадает. Если какая-то важная метрика сильно просела, то идут разбираться с причинами.

Если у вас есть дашборд, то это неплохо. Если вы за ним следите и он работает так, как я описал, то это уже хорошо. Чтобы сделать очень хорошо, потребуется изменить вопрос, на который отвечает дашборд.

 

Пичок

Впервые слово “пичок” я услышал в театре. Это был спектакль о Давиде Яне, билеты на который мне подарила моя жена.

Речь была об исследовательской лаборатории в университете, где ставили опыты, а затем на графиках с результатами искали “пичок” (пик на графике). Если “пичка” не было, то это означало, что все было предсказуемо и не представляло научного интереса. Если же “пичок” был, то это значило, что тут было что-то интересное, появлялся шанс сделать открытие. В общем, все искали “пичок”.

 

Пичок и дашборд

Каждый день для вашего продукта что-то меняется. Сегодня про вас написали в прессе, вчера вы заменили ключевые слова в сторе, позавчера был сильный дождь, до этого вы выкатили апдейт. Каждая точка на графике вашего дашборда – это результат эксперимента, который вселенная, иногда с вашей помощью, ставит над вашим продуктом.

Станьте ученым-исследователем. Замените свой менеджерский вопрос к дашборду “А все ли хорошо?” на “А есть ли там пичок? Что я из него могу узнать?” И в этот момент колебания, которые раньше вы быстро объясняли случайностью, станут для вас лакмусовой бумажкой для поисков чего-то интересного и нового о вашем продукте.

Ищите “пички”. Докапывайтесь до их причин. В большинстве случаев у вас не получится найти причины, потому что многие из них и правда будут объясняться просто случайностью. Но некоторые будут вызваны факторами, о которых вы раньше и не задумывались. Факторами, которые влияют на ваш продукт. А это именно то, что вы ищите – рычаги влияния, которые позволят вам двинуть ваш продукт вперед.

 

Что искать?

Ищите не только позитивные изменения, но и негативные тоже. Если что-то испортило метрики, то обратное этому, их улучшит.

Расследуйте причины “пичков”. Будьте дотошны. Если вы нашли причину, но она не до конца объясняет происходящее, ищите еще одну.

И, возможно, вы узнаете, что конверсия рекламных материалов выросла во время телевизионной рекламы конкурента. Так почему бы не повысить ставку или не выделить дополнительный бюджет на период кампании конкурента?

Публикация в социальных сетях лидера мнений привела вам качественных пользователей. Может быть имеет смысл начать целенаправленно работать с лидерами мнений?

В какой-то небольшой стране число скачиваний приложения выросло в два раза. Почему? Как этого добиться в других странах?

Случайное изменение настроек технологии, лежащей в основе продукта, вдруг обрушило ключевые продуктовые метрики. Значит, повысив качество работы этой этой технологии, можно метрики улучшить.

 

Кейс из личного опыта

Мы провели очередную регулярную ежемесячную распродажу в приложении Assistant (умный голосовой ассистент). До этого их уже было много, поэтому, быстро посмотрев на результаты на дашборде и увидев то, что я и ожидал увидеть, я собирался его закрыть. Но тут я заметил необычную деталь.

Во время ежемесячных распродаж мы рассылаем пуши нашим пользователям на десяти языках. Обычно конверсии в открытие пуша для всех языков почти не отличаются, но тут конверсия в русском языке была заметно выше.

Я решил отложить запланированные дела и поисследовать найденный “пичок”. Предполагаемую причину роста конверсии получилось найти быстро. Оказалось, что когда я заводил пуши, то в русском скопировал лишь первую часть сообщения. В итоге пуш выглядел так – “У меня для тебя есть сюрприз!”. Вместо – “У меня для тебя есть сюрприз! Скидка 50%!”

Я был уверен, что у пуша без текста о скидке конверсия должна быть ниже. Об этом не раз писали в своих исследованиях сервисы рассылки пушей. Но других причин я не нашел, поэтому мы решили проверить идею и в следующей распродаже убрали упоминание скидки из всех языков.

В итоге эта распродажа принесла в 2 раза больше денег, чем обычно. В следующем апдейте мы раскатили изменения и на регулярные распродажи, повысив и их доход. Так маленькое неожиданное колебание на графике дашборда, случившееся в результате случайной ошибки, дало немаленький прирост к доходам.

Не факт, что в вашем приложении это сработает. В описанном кейсе ряд особенностей продукта привел к такому влиянию отсутствия сообщения о скидке.

 

Кейс из опыта Skyeng

А вот интересный кейс от Skyeng.

“Часть нашей воронки — бесплатные вводные уроки, где определяются уровень студента и его задачи. Однажды мы заметили, что у одного из методистов, проводящих такие занятия, конверсия стабильно выше, причём на добрые 20%. Долго выспрашивали у неё, что она делает. Изучали «под микроскопом» все её уроки, но не могли найти причину. Затем выяснили, что у остальных сотрудников набор тематик для проверки уровня языка стандартный, а у неё всегда разный. Оказалось, что она, получив логин человека в скайпе, старается узнать его чуть лучше через социальные сети и поисковики. Поняв, кто к ней придёт, она подбирает тему близкую интересам потенциального клиента. Мы настроили этот бизнес-процесс для всех новых заявок и сейчас, когда человек приходит к нам, мы уже знаем его интересы и понимаем, что ему предложить. Конверсия в оплату из вводного урока выросла с 60 до 75%.”

 

Заключение

Менеджер из истории в начале статьи инстинктивно понимает, что ему нужны шумные метрики и их “пички”. Они способны вскрыть причинно следственные связи, которые в спокойном состоянии не видны.

Аналитик же предлагает следить за усредненной метрикой, которая с одной стороны снижает влияние случайности, но при этом и скрывает и остальную полезную информацию.

Не бойтесь шумных метрик. Ищите “пички” на дашбордах. Изучайте их. Находите причины. Не списывайте колебания на случайность и сезонность.

Ответ дашборда “Все как обычно” должен расстраивать вас, так как не несет никакого знания. Колебания же – шанс на открытие.

 

А какие у вас бывали открытия? Что вы узнавали из “пичков” на графиках вашего продукта? Поделитесь в комментариях.

 

P.S. Подписывайтесь на мою страницу в FB. В будущем буду там публиковать анонсы новых постов, а также мысли, которые не вписываются в формат блога.



Подписка на рассылку новых материалов

Уважаемые читатели, подпишитесь на рассылку новых материалов блога. Вы будете получать не более одного письма в неделю с интересными и полезными статьями про аналитику и маркетинг в интернете.



Запись опубликована в рубрике Аналитика, Без рубрики, Развитие бизнеса с метками , , . Добавьте в закладки постоянную ссылку.
  • Хотелось бы поблагодарить вас, Олег, за этот блог и ваши старания. Всегда интересно читать ваши статьи и заметки. Ну и пожелание, так сказать, держать марку всегда)

    • Олег Якубенков

      Артем, приятно слышать, буду стараться

  • Pavel Nguyen

    Спасибо, Олег. Пошел переделывать свой дашборд. Было бы интересно узнать какие именно метрики обычно на дашборд выводят.

    • Олег Якубенков

      Павел, привет

      Здесь все индивидуально.

      Но я обычно делаю:
      - дешборд для отслеживания общих показателей роста (Revenue, New users, DAU и прочие, плюс ключевые сегментации)
      - дешборд для высокоуровневых продуктовых метрик (Retention dynamics, ключевые воронки и конверсии, использование основной функциональности)
      - дешборд на User Acquisition (тут зависит от того, как привлекаешь)
      - дешборды для важных кусков продукта, особенно для тех, над которыми работаешь
      - ну и какие-то совсем кастомные дешборды по необходимости

      • Pavel Nguyen

        Спасибо за ответ и еще раз спасибо за статью!

  • Пондо

    Один раз случайно сломали кнопку продолжения платной подписки в интерфейсе (автоматической тогда у нас не было). В итоге произошло странное: люди пошли искать в меню как это сделать и в итоге открыли для себя остальные три тарифа, кроме основного, более дорогие. В итоге из-за крупного такого бага на сайте количество подписок на более дороги тарифы увеличилось в трое.

    Сначала увидели по деньгам, потом полезли смотреть и нашли интересные цифры
    (аналитика тогда была своя, просто в таблице экселе). Спасибо, интересная статья.

    • Олег Якубенков

      Спасибо за кейс. Интересно.

  • Аскольд Фраков

    Замечал я уже одну такую аналитику, до добра не привела. Взять к примеру акции Padde Power PLC http://newsofgambling.com/otsenili-aktsii-paddy-power-plc/ оценка которой обошлась в мизерные числа. Так что аналитика к добру не приводить и это не первый фактор.