Менеджер попросил аналитика: «Выведи мне на дашборд Retention первого, третьего и седьмого дней в динамике». Аналитик ответил менеджеру: «Ты уверен? Графики будут шумные. Посмотри, как сильно скачет метрика день ото дня. Давай лучше следить за недельным Retention. Там случайные колебания сглаживаются». На этом и сошлись.
Теперь на дашборде раз в неделю появлялась новая точка. Своим внешним видом она говорила: «Все спокойно, ничего не поменялось». Но порой за внешним спокойствием скрывались бури повседневной жизни: дни взлетов и падений, побед и поражений, будней и выходных. Но о них так никто и не узнал, так как при суммировании сглаживались и неслучайные колебания тоже.
Зачем нужны дашборды?
Обычно дашборд отвечает для руководителя на один ключевой вопрос: «Все ли хорошо?» Дальше есть два варианта. Если все нормально, то на этом потребность в дашборде отпадает. Если какая-то важная метрика сильно просела, то идут разбираться с причинами.
Чтобы глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в GoPractice.
→ Программа «Профессия: продакт-менеджер» поможет вам перейти в продакт-менеджмент из смежной роли или индустрии.
→ В «Симуляторе управления продуктом на основе данных» вы научитесь принимать решения с помощью данных и исследований при создании продукта.
→ В «Симуляторе управления ростом продукта» найдете пути управляемого роста и масштабирования продукта.
→ В «Симуляторе SQL для продуктовой аналитики» поймете, как применять SQL для решения продуктовых и маркетинговых задач.
→ В мини-симуляторе «Генеративный AI для продакт-менеджеров» вы научитесь применять генеративный AI для создания продуктов, решив практический бизнес-кейс.
→ В «Симуляторе управления ML/AI-проектами» научитесь применять технологии машинного обучения с пользой для бизнеса.
→ Не знаете с чего начать? Пройдите бесплатный тест для оценки навыков управления продуктом. Вы определите свои сильные стороны и слепые зоны, получите план профессионального развития.
→ Еще больше ценных материалов и инсайтов — в телеграм-канале .
Если у вас есть дашборд, то это неплохо. Если вы за ним следите и он работает так, как я описал, то это уже хорошо. Чтобы сделать очень хорошо, потребуется изменить вопрос, на который отвечает дашборд.
Пичок
Впервые слово «пичок» я услышал в театре. Это был спектакль о Давиде Яне, билеты на который мне подарила моя жена.
Речь была об исследовательской лаборатории в университете, где ставили опыты, а затем на графиках с результатами искали «пичок» (пик на графике). Если «пичка» не было, то это означало, что все было предсказуемо и не представляло научного интереса. Если же «пичок» был, то это значило, что тут было что-то интересное, появлялся шанс сделать открытие. В общем, все искали «пичок».
Пичок и дашборд
Каждый день для вашего продукта что-то меняется. Сегодня про вас написали в прессе, вчера вы заменили ключевые слова в сторе, позавчера был сильный дождь, до этого вы выкатили апдейт. Каждая точка на графике вашего дашборда — это результат эксперимента, который вселенная, иногда с вашей помощью, ставит над вашим продуктом.
Станьте ученым-исследователем. Замените свой менеджерский вопрос к дашборду «А все ли хорошо?» на «А есть ли там пичок? Что я из него могу узнать?» И в этот момент колебания, которые раньше вы быстро объясняли случайностью, станут для вас лакмусовой бумажкой для поисков чего-то интересного и нового о вашем продукте.
Ищите «пички». Докапывайтесь до их причин. В большинстве случаев у вас не получится найти причины, потому что многие из них и правда будут объясняться просто случайностью. Но некоторые будут вызваны факторами, о которых вы раньше и не задумывались. Факторами, которые влияют на ваш продукт. А это именно то, что вы ищите, — рычаги влияния, которые позволят вам двинуть ваш продукт вперед.
Что искать?
Ищите не только позитивные изменения, но и негативные тоже. Если что-то испортило метрики, то обратное этому их улучшит.
Расследуйте причины «пичков». Будьте дотошны. Если вы нашли причину, но она не до конца объясняет происходящее, ищите еще одну.
И, возможно, вы узнаете, что конверсия рекламных материалов выросла во время телевизионной рекламы конкурента. Так почему бы не повысить ставку или не выделить дополнительный бюджет на период кампании конкурента?
Публикация в социальных сетях лидера мнений привела вам качественных пользователей. Может быть имеет смысл начать целенаправленно работать с лидерами мнений?
В какой-то небольшой стране число скачиваний приложения выросло в два раза. Почему? Как этого добиться в других странах?
Случайное изменение настроек технологии, лежащей в основе продукта, вдруг обрушило ключевые продуктовые метрики. Значит, повысив качество работы этой технологии, можно метрики улучшить.
Кейс из личного опыта
Мы провели очередную регулярную ежемесячную распродажу в приложении Assistant (умный голосовой ассистент). До этого их уже было много, поэтому, быстро посмотрев на результаты на дашборде и увидев то, что я и ожидал увидеть, я собирался его закрыть. Но тут я заметил необычную деталь.
Во время ежемесячных распродаж мы рассылаем пуши нашим пользователям на десяти языках. Обычно конверсии в открытие пуша для всех языков почти не отличаются, но тут конверсия в русском языке была заметно выше.
Я решил отложить запланированные дела и поисследовать найденный «пичок». Предполагаемую причину роста конверсии получилось найти быстро. Оказалось, что когда я заводил пуши, то в русском скопировал лишь первую часть сообщения. В итоге пуш выглядел так: «У меня для тебя есть сюрприз!» вместо «У меня для тебя есть сюрприз! Скидка 50%!»
Я был уверен, что у пуша без текста о скидке конверсия должна быть ниже. Об этом не раз писали в своих исследованиях сервисы рассылки пушей. Но других причин я не нашел, поэтому мы решили проверить идею и в следующей распродаже убрали упоминание скидки из всех языков.
В итоге эта распродажа принесла в 2 раза больше денег, чем обычно. В следующем апдейте мы раскатили изменения и на регулярные распродажи, повысив и их доход. Так маленькое неожиданное колебание на графике дашборда, случившееся в результате случайной ошибки, дало немаленький прирост к доходам.
Не факт, что в вашем приложении это сработает. В описанном кейсе ряд особенностей продукта привел к такому влиянию отсутствия сообщения о скидке.
Кейс из опыта Skyeng
А вот интересный от Skyeng.
«Часть нашей воронки — бесплатные вводные уроки, где определяются уровень студента и его задачи. Однажды мы заметили, что у одного из методистов, проводящих такие занятия, конверсия стабильно выше, причем на добрые 20%. Долго выспрашивали у нее, что она делает. Изучали ”под микроскопом“ все ее уроки, но не могли найти причину. Затем выяснили, что у остальных сотрудников набор тематик для проверки уровня языка стандартный, а у нее всегда разный. Оказалось, что она, получив логин человека в скайпе, старается узнать его чуть лучше через социальные сети и поисковики. Поняв, кто к ней придет, она подбирает тему, близкую интересам потенциального клиента. Мы настроили этот бизнес-процесс для всех новых заявок и сейчас, когда человек приходит к нам, мы уже знаем его интересы и понимаем, что ему предложить. Конверсия в оплату из вводного урока выросла с 60 до 75%».
Заключение
Менеджер из истории в начале статьи инстинктивно понимает, что ему нужны шумные метрики и их «пички». Они способны вскрыть причинно следственные связи, которые в спокойном состоянии не видны.
Аналитик же предлагает следить за усредненной метрикой, которая с одной стороны снижает влияние случайности, но при этом и скрывает и остальную полезную информацию.
Не бойтесь шумных метрик. Ищите «пички» на дашбордах. Изучайте их. Находите причины. Не списывайте колебания на случайность и сезонность.
Ответ дашборда «Все как обычно» должен расстраивать вас, так как не несет никакого знания. Колебания же — шанс на открытие.
Если вы хотите глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.
→ «Симулятор управления продуктом на основе данных» поможет научиться принимать решения с помощью данных и исследований при создании продукта (путь от 0 к 1).
→ «Симулятор управления ростом продукта» поможет найти пути управляемого роста и масштабирования продукта. Вы построите модель роста и составите стратегию развития продукта (путь от 1 к N).
→ «Симулятор SQL для продуктовой аналитики» поможет освоить SQL и применять его для решения продуктовых и маркетинговых задач.
→ «Симулятор управления ML/AI-проектами» научит применять технологии машинного обучения с пользой для бизнеса.
Не знаете с чего начать? Пройдите бесплатный тест для оценки навыков управления продуктом. Вы определите свои сильные стороны и слепые зоны, получите план профессионального развития.
Еще больше ценных материалов и инсайтов — в телеграм-канале .
