Проценты, процентные пункты и процентили часто встречаются в работе продакт-менеджеров, но иногда вызывают путаницу. Такая путаница может приводить к неверным выводам, а они, в свою очередь, к дорогостоящим ошибкам.
В этом материале мы разберемся, в чем разница между этими понятиями, как их лучше всего использовать в продуктовой работе и каких ошибок стоит избегать.
Это перевод из англоязычного блога GoPractice. При желании вы можете изучить его в оригинале
Проценты и процентные пункты в продакт-менеджменте
Проценты позволяют представить часть целого как долю от 100. Например, если 25 из 100 пользователей сделали покупку на сайте, то конверсия составила 25%. Если 14 из 50, то 28%. И так далее.
Проценты используются для измерения роста или какого-либо изменения со временем, позволяя сравнить текущее значение метрики с исходным, и для измерения распределения долей (например, доля продукта на определенном рынке составляет 12%).
Процентные пункты же представляют собой разницу между двумя значениями в процентах. Например, если конверсия на сайте выросла с 20% до 25%, то разница составляет 5 процентных пунктов (п.п.). Процентные пункты позволяют измерить масштаб изменений и дают более ясную картину того, как именно метрика изменилась.
Измерить изменение величины можно и с помощью процентов. Если конверсия изменилась с 20% до 25%, то рост показателя составил 25%. Вот простая формула для вычисления:
100 / 20 * (25 – 20) = 25%
Каждый из приведенных выше показателей демонстрирует разную картину изменений в продукте. Использование того или другого зависит от ситуации.
Например, вы запустили рекламную кампанию и хотите замерить CTR разных креативов.
Первая версия была показана 1000 пользователей. Из них 20 кликнули рекламу, значит СTR составил 2%.
Во второй версии креатива вы изменили цветовую гамму, и его вновь увидели 1000 пользователей. На этот раз 30 из них кликнули на рекламу, и CTR составил 3%.
В этом случае вы улучшили CTR рекламы на 1 процентный пункт, что кажется небольшим изменением. Однако если смотреть на него с точки зрения процентов, то изменение составило 50%. Когда речь идет о миллионах показов рекламы ежедневно, улучшение CTR на 50% играет существенную роль.
Возможные трудности при использовании процентов и процентных пунктов
Выбор того или иного способа измерения зависит от конкретной ситуации, в зависимости от того, что именно важнее проиллюстрировать в данном случае.
Но нередко продакты и другие члены команды могут столкнуться с путаницей между процентами и процентными пунктами.
Например, в результате изменений в продукте удалось улучшить конверсию с 1% до 3%. Говорить об «улучшении на 2%» в данном случае неправильно, поскольку речь идет об улучшении на 2 п.п. Если мы хотим представить изменение в процентах, то улучшение в данном случае составило 200%.
Процентили в продакт-менеджменте
Использование процентилей подразумевает деление набора данных на 100 равных частей, каждая из которых представляет один процентиль. Процентили нужны для понимания того, как распределяется метрика, и для выявления «выбросов» или трендов у определенного сегмента пользователей.
Например, в приложении маркетплейса было 10 000 активных пользователей за последний месяц, а вы отслеживаете их траты. Что будет означать 50-й процентиль трат пользователя в таком случае?
50-й процентиль — это такое значение, при котором 50% элементов набора данных равны или меньше этого значения. В нашем случае мы получим число, которое говорит о том, что 5000 пользователей сделали покупку на сумму, которая равна этому числу или меньше него. 50-й процентиль фактически дублирует функцию медианы.
Фактически мы берем всех пользователей и выстраиваем их по возрастанию целевой метрики. Потом мы берем значение посередине списка.
Работая с процентилями, вы можете столкнуться с термином квартили, которая относится к 25% значений набора данных. Первый квартиль подразумевает 25-й процентиль, второй квартиль — 50-й процентиль и так далее.
Как еще можно применять процентили в продуктовой работе?
Например, при анализе времени загрузки сайта вы можете ориентироваться не на среднее арифметическое или медиану, а измерить показатель через процентиль. Допустим, 95-й процентиль для загрузки сайта составляет 1.5 секунды. Это значит, что у 95% пользователей загрузка происходит за 1.5 секунды или менее, а у оставшихся 5% этот показатель выше. В этом контексте 5-й процентиль может составлять, например, 1.2 секунды. Это будет означать, что у 5% пользователей время загрузки равно или меньше этого значения.
В примере выше 95-й процентиль позволяет отсечь «выбросы» в данных небольшой доли пользователей, которые могли столкнуться с проблемами на своей стороне, повлиявшими на скорость загрузки. Использование среднего арифметического дало бы сильный перекос в сторону увеличения показателя, а медиана не позволила бы понять картину, характерную для подавляющего большинства пользователей.
Возможные трудности при использовании процентилей
Процентили позволяют выявить ценные инсайты в распределении метрики и помогают выявлять «выбросы» или тренды для определенного сегмента пользователей. Однако с использованием их в продуктовой работе могут возникать сложности.
Например, в случае с вовлеченностью пользователей процентили не дают никакой информации о том, проводят ли они время в продукте с пользой или нет.
Кроме того, распределение метрики может меняться со временем, из-за чего сравнивать процентили разных периодов становится сложно. Например, так может случиться, когда вы измеряете Retention: продукт и ситуация на рынке меняются, меняется распределение показателей Retention, что в итоге делает сравнение метрики разных периодов не очень информативным.
И наконец, точность процентилей может сильно зависеть от качества ваших данных и размера выборки. Если вы имеете дело с небольшой выборкой или неполными данными, процентили не дадут точной картины распределения метрики.
Как выбирать метрики
Проценты, процентные пункты и процентили — это важные понятия для продуктовой работы. Правильно использовать их вам помогут ответы на эти вопросы:
- Какую метрику вы отслеживаете и какими другими способами вы можете ее измерить?
- Как изменяется ваша метрика с течением времени и могут ли эти изменения отразиться на результатах измерения?
- Достаточно ли у вас данных, чтобы обеспечить адекватный размер выборки для измерения процентов и процентилей?
- Есть ли у вашей метрики определенный минимальный порог, который вы должны соблюсти?
