Как измерить добавочную ценность продукта

Это материал из серии о том, как создавать продукты, которые нужны людям — об основах продакт-менеджмента.

Из этого материала вы узнаете, как можно подходить к задаче измерения добавочной ценности продукта. Приведены упрощенные примеры, иллюстрирующие подходы для различных типов продуктов.

В предыдущих материалах мы уже обсудили, почему повышение добавочной ценности продукта — ядро продуктовой работы. Мы также выяснили, что метрики продукта далеко не всегда однозначно характеризуют эффективность решения задачи, поэтому ввели понятия метрик эффективности и добавочной ценности.

Измерение эффективности и добавочной ценности — задача куда более сложная, чем может показаться на первый взгляд. В этом материале мы рассмотрим способы ее решения.

Сложности измерения добавочной ценности

Измерение эффективности и добавочной ценности продукта — сложная задача по нескольким причинам.

1. Эффективность зависит не только от самого продукта, но и от задачи, в рамках решения которой он используется. Например, эффективность внедорожника будет сильно различаться для поездки по Исландии и для поездки по узким улицам Рима.
   
2. Эффективность продукта зависит от контекста. Добавочная ценность столика в тени будет сильно различаться в прохладный и очень жаркий день.
   
3. Ценность продукта субъективна. Кому-то нравится драматическое кино, а кому-то комедийное. Кому-то нравится черный цвет, а кому-то фиолетовый.
   
4. Восприятие ценности далеко не всегда рационально. Люди подвержены когнитивным искажениям, обладают неполной информацией и принимают эмоциональные решения.

Несмотря на все это, люди очень хорошо умеют чувствовать ценность. Мы знаем, какая обувь подходит для бега, а какая — для похода в театр. Мы знаем, какой сериал был интересным, а какой — скучным. Мы кипятим воду в чайнике, а не в кастрюле. Мы понимаем, какой сотрудник с большей вероятностью справится с задачей.

Все эти суждения требуют от нас способности определять и сравнивать ценность различных решений наших задач, хотя мы и не можем их выразить в количественной форме.

Все становится сложнее, когда мы начинаем делать продукт для других людей. В этот момент мы сталкиваемся со множеством разных пользователей, каждый из которых по-своему оценивает эффективность продукта в зависимости от задачи, контекста, личных особенностей.

Именно поэтому задача измерения эффективности продукта и его добавочной ценности относительно альтернатив становится фундаментальным элементом в продуктовой работе. Без результатов такого измерения вы не сможете сказать, что значит — сделать продукт лучше. Но для того, чтобы подступиться к решению этой задачи, нам нужно ограничить ее рамки.

Чтобы глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в GoPractice.

→ Программа «Профессия: продакт-менеджер» поможет вам перейти в продакт-менеджмент из смежной роли или индустрии.

→ В «Симуляторе управления продуктом на основе данных» вы научитесь принимать решения с помощью данных и исследований при создании продукта.

→ В «Симуляторе управления ростом продукта» найдете пути управляемого роста и масштабирования продукта.

→ В «Симуляторе SQL для продуктовой аналитики» поймете, как применять SQL для решения продуктовых и маркетинговых задач.

→ В «Симуляторе управления ML/AI-проектами» научитесь применять технологии машинного обучения с пользой для бизнеса.

→ Не знаете с чего начать? Пройдите бесплатный тест для оценки навыков управления продуктом. Вы определите свои сильные стороны и слепые зоны, получите план профессионального развития.

→ Еще больше ценных материалов и инсайтов — в телеграм-канале GoPractice.

Измерение добавочной ценности относительно конкурента и в рамках конкретной «работы»

Дальше мы будем говорить про измерение добавочной ценности продукта следующим образом:

• Относительно конкретного конкурента (альтернативы);
• В рамках определенной «работы», или Job To Be Done.

Определять «работу» мы будем в соответствии с версией JTBD-фреймворка от Клейтона Кристенсена (Clayton Christensen), где конкретная Job To Be Done состоит из двух элементов:

• Задача, которую человек хочет решить;
• Контекст возникновения этой задачи.

Алгоритм оценки добавочной ценности продукта

Ниже приведен высокоуровневый алгоритм оценки добавочной ценности:

Шаг 1. Определить параметры, которые характеризуют эффективность выполнения «работы». Важно: выявляемые параметры не должны зависеть от конкретного способа решения задачи. Они определяются именно «работой» и поэтому должны подходить для измерения эффективности любого способа ее выполнения.

Например, формулировка «Джон хочет доехать до аэропорта на Uber» содержит в себе указание на конкретный способ решения задачи, поэтому не подходит нам. Зато формулировка «Джон хочет добраться до аэропорта как можно быстрее» вполне подходит, так как подразумевает разные способы выполнения «работы», а на ее основе можно выделить параметр эффективности — время, проведенное в пути.

Шаг 2. Сравнить доступные продукты для решения задачи на основе этих параметров.

• Если все характеристики измеряются в одной единице измерения, то вывести общую метрику, характеризующую эффективность продуктов;
• Если характеристики измеряются в разных единицах измерения, то попытаться понять вес и важность каждого из факторов для пользователей. И на основе этого понять, какой продукт лучше решает задачу.

Например, разные способы добраться до аэропорта можно сравнить по времени, которое Джон проведет в пути. Но может понадобиться учесть и стоимость, и удобство различных способов решения задачи, а затем приоритизировать эти факторы в зависимости от того, что наиболее важно для Джона.

Этот алгоритм может применяться по-разному в зависимости от конкретной задачи и контекста. Ниже мы рассмотрим ряд примеров, которые помогут вам адаптировать его к измерению добавочной ценности своего продукта. Все примеры достаточно упрощены, чтобы их можно было кратко обсудить в рамках этого материала.

Измерение добавочной ценности в случае, где у параметров эффективности решения задачи есть общая единица измерения

Давайте рассмотрим задачу приема платежей в онлайн-маркетплейсе.

Вы используете платежного провайдера, который берет комиссию в 3% с каждого платежа. К вам приходит конкурирующий сервис и предлагает свои услуги с комиссией в 2%.

На этом этапе добавочная ценность второго провайдера для вас — экономия 1% от оборота. На ваших масштабах этого достаточно, чтобы сделать тестовое внедрение и провести эксперимент.

После интеграции и выкатки нового сервиса на небольшую часть пользователей вы обнаруживаете, что проходимость платежей (доля инициированных транзакций, которые были успешно обработаны) у нового провайдера хуже, чем у старого. Из-за этой проблемы при использовании нового провайдера вы теряете 1.5% от оборота. При использовании старого — 0.3%.

Теперь у нас есть две характеристики эффективности решения задачи приема платежей в маркетплейсе: стоимость услуг провайдера и проходимость платежей. Обе эти характеристики измеряются в одной размерности, поэтому мы можем рассчитать комбинированную метрику, характеризующую общую эффективность каждого из решений.

Через месяц после старта эксперимента вы получаете первые данные о другой важной переменной — насколько эффективно каждый из провайдеров определяет и блокирует мошеннические транзакции.

Старый сервис справляется с этой задачей хуже. Потери от мошенничества при использовании старого провайдера составляют 0.5%. При использовании нового — 0.1%.

Все три характеристики измеряются одинаково, поэтому мы можем легко объединить их в одну метрику, характеризующую эффективность решения задачи приема платежей. Их сравнение позволит понять, какова добавочная ценность нового сервиса относительно старого.

Если выведенные параметры в полной мере характеризуют эффективность решения задачи приема платежей, то новый провайдер платежей создает ценность относительно старого. Использование старого сервиса стоило маркетплейсу 3.8% от оборота, а нового — 3.6%. Добавочная ценность — 0.2% от оборота.

В рассмотренном примере все характеристики задачи имели общую единицу измерения и, как следствие, нам удалось вывести единую метрику эффективности. Но это возможно не всегда. Давайте рассмотрим пример другой «работы».

Измерение добавочной ценности в случае, где у параметров эффективности решения задачи разные единицы измерения

Давайте рассмотрим задачу покупки конкретного товара через интернет.

Сначала определим параметры, определяющие эффективность решения задачи:

• Доступность товара. Если товара нет в наличии, то решить задачу будет невозможно;
• Стоимость товара. Чем ниже цена товара в магазине, тем лучше для покупателя;
• Стоимость доставки. Чем ниже стоимость доставки, тем лучше;
• Скорость доставки. Чем быстрее покупатель получит товар, тем лучше;
• Надежность доставки. Если сервис регулярно срывает сроки доставки, то это может стать причиной для выбора альтернативы;
• Условия и стоимость возврата. Покупатель хочет иметь возможность легко вернуть товар, если он не подойдет.

В примере с приемом платежей все параметры эффективности решения задачи измерялись в доле от оборота, поэтому мы могли легко вывести общую метрику эффективности. В этом случае все иначе.

Скорость доставки измеряется во времени, стоимость — в деньгах, надежность — в доле вовремя доставленных заказов. Поэтому рассчитать единую метрику эффективности у нас не получится.

Вместо этого мы можем рассчитать добавочную ценность доступных онлайн-магазинов относительно друг друга по каждому из параметров: как соотносятся цены на товар, как отличаются стоимость, скорость и надежность доставки, условия возвратов.

Сравнение по этим характеристикам позволит понять, создает ли ваш продукт (определенный онлайн-магазин) добавочную ценность для пользователя в рамках решения задачи покупки конкретного товара.

Вы также можете расширить подход и рассчитать эти параметры для других товаров. Это позволит понять, в каких типах задач ваш продукт является более эффективным, а в каких — менее.

Наличие дашбордов, которые будут сравнивать ваш онлайн-магазин с альтернативами по ассортименту и ценам на товары в разных сегментах, по стоимости, надежности, удобству доставки и условиям возвратов, позволит понять, где вы эффективнее, а где отстаете. Может быть, вы лучше других решаете задачу покупки дорогой одежды от премиальных брендов, но сильно уступаете в сегменте спортивной обуви.

Часто даже такой уровень исследования позиций своего продукта относительно альтернатив позволяет понять причины наблюдаемого поведения пользователей, понять динамику долей рынка, выбрать вектор развития. Именно на улучшение показателей продукта по выделенным параметрам следует нацелить разные проекты, которые вы будете приоритизировать и реализовывать.

Схожий пример подхода к оценке добавочной ценности Uber относительно сервиса обычного такси мы рассмотрели в предыдущем материале. Там мы тоже не могли свести все параметры в одну метрику, поэтому сравнивали продукты по каждому из них последовательно.

Как команда Amazon строит работу вокруг повышения эффективности решения задачи клиентов

В книге «Invent and Wander» собраны выступления и письма к акционерам основателя Amazon Джеффа Безоса (Jeff Bezos).

В этих письмах очень хорошо видно, как с самого основания компании Джефф Безос строил работу команды через призму поиска способов повысить эффективность решения задачи для клиента. Следующая цитата это хорошо иллюстрирует:

«Я часто слышу вопрос — что изменится в следующие 10 лет. И это очень интересный, очень распространенный вопрос. Но я почти никогда не слышу вопроса о том, что не изменится в следующие 10 лет. Должен признаться, что второй вопрос мне кажется более важным, потому что он позволяет построить бизнес-стратегию вокруг вещей, которые остаются стабильны с течением времени. […] Например, в ритейле мы знаем, что покупатели хотят низких цен, и это не изменится спустя 10 лет. Они хотят быструю доставку, они хотят широкий выбор. Невозможно представить будущее через 10 лет, в котором покупатель приходит ко мне и говорит: “Джефф, я люблю Amazon, но мне хотелось бы, чтобы цены были чуть-чуть повыше или доставка чуть-чуть помедленнее”. Это невозможно. Поэтому мы точно знаем, что все усилия, которые мы прикладываем к решению задач наших покупателей, будут приносить нам дивиденды даже 10 лет спустя. Когда вы находите то, что остается неизменным в долгосрочной перспективе, то можете смело позволить себе вложить туда много сил».

Jeff Bezos (Джефф Безос)

Низкие цены, быстрая доставка, большой выбор. Именно на улучшение этих характеристик решения задачи клиентов были нацелены проекты Amazon.

• Запущенная в 2004 году подписка Prime позволила снизить стоимость и время доставки для подписчиков. Снижение цен привело к увеличению спроса и снижению доли фиксированных издержек в стоимости товаров, что опять же позволило компании снизить цены.
• Запуск маркетплейса для сторонних продавцов позволил расширить ассортимент, повысить конкуренцию (в том числе с собственными товарами Amazon) и снизить цены для конечных потребителей.
• Запуск FBA (Fulfilled by Amazon) позволил повысить надежность и скорость доставки товаров из маркетплейса, что опять же привело к росту спроса и снижению цен.

На графике ниже для разных маркетплейсов в США показано количество товаров, которые доступны для покупки со сроком доставки до 2 дней.

Amazon настолько сильно оторвался от конкурентов, что у них уже нет шансов в формате прямой конкуренции:

• Продавцам выгоднее размещать свои товары на Amazon — там выше продажи, то есть Amazon эффективнее решает их задачу;
• В результате — на Amazon наибольшее количество продавцов и, как следствие, лучший выбор товаров в большинстве категорий;
• Большое количество продавцов формирует острую конкуренцию, что обеспечивает минимальные цены по сравнению с конкурентами;
• Важность и приоритетность Amazon как канала продаж заставляет продавцов выполнять строгие требования Amazon и обеспечивать высокий уровень сервиса.

Таким образом Amazon решает задачу конечных пользователей эффективнее большинства своих прямых конкурентов. У клиентов Amazon нет никаких причин для переключения на альтернативы, в том числе, Walmart и eBay.

Последовательная работа на протяжении многих лет над повышением эффективности решения задачи онлайн-покупки товаров позволила Amazon создать огромную добавочную ценность относительно альтернатив, которая стала фундаментом их доминирования на рынке e-commerce в США и других странах.

Важность параметров зависит от решаемой задачи и контекста

Если Amazon так силен по всем параметрам решения задачи онлайн-покупок, то как у других сервисов на рынке e-commerce получается с ним конкурировать?

Все просто. В рамках определенных задач и контекстов Amazon может проигрывать конкурентам по эффективности.

Например, задачу покупки дорогих вещей от премиальных брендов Farfetch решает лучше Amazon. Многие дорогие бренды одежды и аксессуаров не хотят размещаться на Amazon для того, чтобы не оказываться рядом с более дешевыми альтернативами. Farfetch же сфокусировался на продаже премиум-товаров, что позволило им добиться более полного и качественного ассортимента в этом сегменте.

AliExpress лучше решает задачу покупки товаров по низким ценам для людей из регионов с плохим покрытием другими магазинами. В рамках такой задачи и такого контекста срок доставки и удобство возвратов оказываются менее важными (средний срок доставки AliExpress может составлять недели, а возврат товаров часто стоит дороже, чем сам купленный товар, поэтому лишен всякого смысла). Ключевые параметры для этого юзкейса — это низкие цены и «уникальный» ассортимент, недоступный людям из регионов в местных магазинах.

Сервисы флэш-распродаж вроде французского Veepee способны обеспечивать скидки на товары от брендов вплоть до 70%, так как формируют свой ассортимент из нераспроданных остатков. Если вам нужна конкретная модель кроссовок Nike из новой коллекции, то этот сервис не поможет. Если же вы просто хотите купить кроссовки Nike с большой скидкой, то Veepee будет эффективнее Amazon.

Как говорил Майкл Портер (Michael Porter), ваша задача не в том, чтобы стать лучше всех в своей индустрии. Она в том, чтобы предложить уникальный продукт, заточенный под задачу и контекст конкретного сегмента. За счет сужения задачи и контекста вы можете найти сегмент, где будете создавать добавочную ценность, а далее — оптимизироваться под него. Именно поэтому мы оцениваем добавочную ценность в рамках конкретной «работы».

Измерение добавочной ценности в рамках задачи поиска партнера для свидания

Выше мы рассмотрели подходы к оценке добавочной ценности для задачи приема платежей и онлайн-покупки товаров. В первом случае мы смогли свести все параметры эффективности к одной метрике. Во втором случае мы выделили параметры и сравнивали альтернативы на основе каждого из них.

Но существуют задачи, где выделить параметры и сравнить их значительно сложнее. Один из примеров — задача поиска партнера для свидания.

Если вы когда-то использовали сайты знакомств или дейтинг-приложения, то знаете, что это занятие требует усилий и времени: просмотреть большое количество анкет, написать сообщения, построить контакт с потенциальным партнером, договориться о встрече.

В этом случае мы можем сформировать метрику эффективности исходя из понимания «работы». Например, одним из вариантов может быть количество времени и усилий, которые надо потратить для того, чтобы получить одно свидание.

Предположим, что вы скачали два дейтинг-приложения и провели в каждом из них по часу:

• В первом вы получили 7 матчей, 4 активных чата, 2 договоренности о свидании;
• Во втором — 2 матча, 1 активный чат, 1 договоренность о свидании.

Первый продукт дал вам больший возврат на инвестированные силы и время, то есть создал больше ценности. С высокой вероятностью вы и дальше будете инвестировать свою энергию именно в это приложение.

Эта метрика достаточно хорошо характеризует эффективность выполнения «работы». Но как ее измерять?

Самый простой способ — на основе фактических данных об использовании продукта. Сколько усилий (времени в приложении, просмотренных анкет, отправленных сообщений) требуется пользователю, чтобы получить свидание или активный чат (хорошая прокси-метрика для свиданий).

Такую метрику легко подсчитать, но у нее есть проблема — мы не можем подсчитать ее для конкурирующих продуктов, а значит, не можем понять, как соотносится наша эффективность по сравнению с ними. Создаем мы добавочную ценность или нет?

Другой способ — регулярно проводить исследование, где группа людей будет инвестировать одинаковое количество усилий в ваш продукт и конкурирующий продукт, а потом сравнивать полученный результат (активные чаты и свидания). Это более дорогой способ, но он позволяет проанализировать добавочную ценность относительно альтернатив.

Задачи, где вывести метрики эффективности решения задачи невозможно

Есть ряд задач, где придумать метрики для оценки эффективности решения задачи и, как следствие, добавочной ценности очень сложно.

Как понять, насколько один фильм лучше другого в качестве досуга вечером? Насколько новый сериал от Netflix лучше избавит от скуки, чем новая игра для PlayStation?

Для ряда задач придумать объективную меру эффективности невозможно, поэтому в этих случаях нам приходится обращаться к продуктовым метрикам. По сути, замерять эффективность продукта на основе реакции пользователей на него.

В предыдущем материале мы обсуждали, что это не лучший подход. В идеале метрики эффективности не должны быть завязаны на конкретный метод решения задачи (то есть конкретный продукт). Но в некоторых ситуациях придется прибегнуть к этому методу.

Среди мобильных игр схожего жанра Retention и Engagement будут хорошими индикаторами для сравнения того, какой продукт лучше решает задачу пользователя. Для фильмов — средняя оценка на основе отзывов пользователей позволит понять, какой продукт с большей вероятностью поможет хорошо провести время.

Добавочная ценность одного продукта по сравнению с другим — ключевой драйвер роста

Люди выбирают новый продукт, так как он делает их жизнь лучше. Именно поэтому увеличение добавочной ценности — это ядро продуктовой работы.

Для осознанного выполнения такой работы вам нужно уметь замерять добавочную ценность продукта относительно альтернатив.

Шаг 1. Определить параметры, которые характеризуют эффективность выполнения «работы». Важно: выявляемые параметры не должны зависеть от конкретного способа решения задачи. Они определяются именно «работой» и поэтому должны подходить для измерения эффективности любого способа ее выполнения.

Шаг 2. Сравнить доступные продукты для решения задачи на основе этих параметров.

• Если все характеристики измеряются в одной единице измерения, то вывести общую метрику, характеризующую эффективность продуктов;
• Если характеристики измеряются в разных единицах измерения, то попытаться понять вес и важность каждого из факторов для пользователей. И на основе этого понять, какой продукт лучше решает задачу;
• В некоторых случаях вам нужно будет вывести метрику эффективности из собственного понимания «работы».

Для некоторых задач и контекстов определить метрику эффективности, которая не завязана на продукт, не получится (например, выбор фильма для просмотра вечером после работы). В такой ситуации можно использовать продуктовые метрики.

Оценка добавочной ценности — это сложная задача, но очень важная для осмысленной работы над развитием продукта.

↓ Следующий материал серии:

→ Для достижения product/market fit ваш продукт должен быть в 10 раз лучше альтернатив. Или нет?