В этом материале обсудим, как продакт-менеджеру эффективно использовать результаты качественных исследований при работе над продуктом.
Качественные данные, полученные в ходе интервью, помогают продакт-менеджеру и другим участникам команды лучше понимать пользователей и их потребности. Но для эффективной работы с этими данными сперва понадобится разобраться:
- как правильно делать выводы на основе уже проведенных интервью;
- какие методики позволят обрабатывать полученные данные оптимально по времени и удобству и извлекать из них пользу для работы над продуктом.
Корректный анализ результатов глубинных интервью поможет снизить риск субъективной интерпретации и когнитивных искажений в ходе сбора данных, увидеть общие тенденции и работать с результатами уже всей командой.
Этот материал стал результатом совместной работы с опытными исследователями.
- Анна Кон, со-основательница компании которая помогает бизнесу исследовать новые рынки по всему миру
- Дмитрий Губарев, эксперт по клиентскому опыту Mag Development
Задачи интервью
Глубинные интервью дают ценную возможность получить детальное представление о пользователях, их потребностях, привычках, проблемах и ожиданиях.
Это позволяет выявить общие тенденции и паттерны в поведении пользователей, а также, редкие, но важные юзкейсы, с которыми они по какой-то причине могут сталкиваться.
С помощью этой информации мы можем проверять наши продуктовые гипотезы и более эффективно адаптировать продукт к реальным потребностям пользователей, либо, в ряде случаев, принять решение о закрытии проекта.
Более подробно о том, как эффективно подготовить и провести глубинные интервью с пользователями, мы рассказывали в материале «Качественные исследования в работе над продуктом: инструкция по применению». Вы можете ознакомиться с ним и вернуться к этой статье.
Далее обсудим, как и зачем анализировать информацию, полученную в ходе качественных исследований.
Анализ качественных данных
Задачи анализа результатов качественных исследований
- Определение общих тенденций
Обобщение результатов позволяет получить общее представление о проблемах, с которыми сталкиваются пользователи при использовании продукта или, проблемах, которые пользователь может решить с помощью нашего продукта. Это также дает возможность выделить важные темы, тренды, тенденции, паттерны поведения пользователей. Понимание того, что является общим для пользователей, позволяет выделить области и проблемы, которые требуют наибольшего внимания и проработки.
- Снижение субъективности и когнитивных искажений
Аккуратная работа с полученными данными снижает «эффект наблюдателя». При сборе данных мы не можем полностью исключить свое влияние на респондентов и собственную избирательность восприятия, поэтому последующий анализ и синтез помогают посмотреть на данные более отстраненно и схематично.
Подробнее о когнитивных искажениях при проведении исследований .
- Фокус на ключевых задачах исследования
На этапе сбора данных можно получить много интересной информации, новых идей и, как итог, расфокусироваться и уйти в сторону от изначальной задачи исследования. Анализ результатов серии интервью — это дополнительная дисциплина, возвращение к изначально поставленным вопросам.
Анализ качественных данных своими руками
Мы провели опрос в закрытом сообществе исследователей о том, как они проводят анализ качественных данных и какими инструментами пользуются.
Ниже — обобщенный алгоритм на основе ответов участников сообщества.
- Шаг 1. Подготовка данных: расшифровка записей интервью.
- Шаг 2. Работа с данными: структурирование транскриптов, разметка кодами.
- Шаг 3. Анализ: построение дерева кодов / сведение результатов.
- Шаг 4. Выводы: формулирование ответов на изначальные задачи исследования.
Ниже мы расскажем детальнее, с отсылками к более академическому подходу. Разумеется, на практике профессиональные исследователи упрощают этот подход в зависимости от фактической задачи.
После того как вы провели интервью с респондентами, вам нужно расшифровать записи, чтобы получить сырые данные — то есть получить текст. Делать и сохранять расшифровку интервью полезно по двум основным причинам.
- Во-первых, если спустя какое-то время вы захотите найти конкретный отрывок из беседы с пользователем, вам не придется тратить лишнее время на переслушивание всей записи.
- Во-вторых, во время самого интервью вы будете чувствовать себя более свободно, не беспокоясь о ведении записей и полностью фокусируясь на собеседнике и задачах интервью.
Полученные данные станут основой для итогового отчета.
Исследователи регулярно тестируют и адаптируют под свою работу инструменты для автоматических транскриптов (мы уже обсуждали их в более общем материале о качественных исследованиях). Опрошенные нами исследователи назвали , , . Также они рекомендуют предварительно пропускать звук через .
После расшифровки записи интервью должны быть структурированы. Копировать структуру опросника — самый простой способ сделать это.
Другой вариант — создать коды (теги), отражающие основные идеи и темы. Этот способ позволяет организовать результаты таким образом, чтобы в дальнейшем было проще и быстрее находить нужную информацию, без необходимости анализа всех данных, полученных в рамках интервью.
Теги могут быть двух типов:
- те, которые применяются только в рамках конкретного исследования и создаются в процессе анализа данных;
- те, которые используются во всех проектах и позволяют связывать результаты всех исследований между собой.
Создайте коды, отражающие основные концепции, и классифицируйте их по общим категориям, например: общие вопросы, текущий опыт, оформление продукта, решения конкурентов и тд.
Теги и категории могут быть абсолютно любыми, все зависит от вашего опросника и того, какие темы вас интересуют и какие вопросы вы задаете. Главное, чтобы вам было удобно с этим работать. Более подробную инструкцию о том, как правильно составлять теги, какие они могут быть и как стоит их обновлять, вы можете изучить в .
Важно сохранять структуру для каждого интервью, независимо от того, какую стратегию вы выбрали. Если вы планируете использовать эти интервью для работы по методу персон или создавать другие производные документы, то это также будет полезно.
Разметка массива текста кодами и дальнейшее построение дерева кодов — это часть подхода обоснованной теории. Детально изучить подход можно в книге Ансельма Страусса и Джульет Корбин «Основы качественного исследования. Обоснованная теория: процедуры и техники». Если коротко, есть разные способы кодирования и анализа: открытое, осевое и избирательное кодирование. В открытом кодировании нет заданных категорий, в осевом устанавливается связь между категориями (например, каузальность), в избирательном есть фокус на центральной категории, вокруг которой выстраивается весь нарратив и система остальных категорий. Теги, или коды, или понятийные ярлыки — это отдельные частные случаи, события. Эти коды группируются в более общие категории, по сути это и есть процесс анализа и интерпретации.
Отрывок из этой книги для иллюстрации процесса кодирования:
Вот фрагмент интервью с женщиной:
Облегчение боли — это главная проблема, когда у вас артрит. Временами боль усиливается, а когда становится по-настоящему плохо, ох! Вам так скверно, что не хочется вылезать из постели. А лекарства, которые вы принимаете, дают только временное или частичное облегчение.
Из этих данных очевидно следующее. Они говорят нам, что боль является для нее проблемой: переживание боли. Мы узнаем, что ее боль имеет свойство изменяться в интенсивности от сильной до умеренной. При условии сильной боли имеются два следствия: ее двигательная активность ограничена, ограничение активности; она остается в постели, привязанность к постели. Из данных также следует, что она использует лекарства, чтобы облегчить свою боль. Облегчение боли, еще одна категория. Самостоятельный прием лекарств — это стратегия для облегчения боли. Облегчение боли имеет два свойства: длительность (временное) и степень (частичное).
Посмотрим, что мы здесь имеем. У нас две категории: Переживание Боли и Облегчение Боли. Эти две категории возникли из нашего первоначального кодирования.
Если хотите чуть глубже разобраться в анализе качественной информации, то рекомендуем «» — это хорошее современное пособие. В нем приведены разные подходы к анализу качественных данных.
Исследователи делают анализ данных и отчет в разных инструментах и на разном уровне погружения, в зависимости от задачи проекта. Для глубокого анализа интервью работа идет непосредственно с транскриптами в Word / Google Docs. Для Google Docs можно использовать плагин Highlight для расстановки тегов. Потом формируется сводная таблица с кодами, цитатами и комментариями.
Некоторые исследователи работают сразу в Excel.
Если не работают непосредственно с анализом транскриптов, а подбивают результаты юзабилити-тестов для дизайнера, то удобно работать в Miro, отображая на карте экранов стикерами комментарии, рекомендации и цитаты. Аналогично, можно работать в Figma, используя стикеры вокруг макетов.
Допустим, вы проанализировали данные ваших интервью на том уровне, который оптимален для вашего проекта. Чтобы это не осталось отдельным массивом знания, возвращаемся к изначально поставленной задаче. Это определяет и формат самого отчета, используемые фреймворки и формулирование выводов и рекомендаций для себя или для команды. Мы не знаем ваш конкретный проект, поэтому рекомендации будут общими: вернитесь к вашим изначально сформулированным вопросам и ответьте четко на них.
Полезные советы
Одна из важных задач интервью — понять потребности пользователей. При составлении отчета по результатам исследования можно привести конкретные цитаты респондентов по каждой теме или полученному выводу. Это оживит портрет пользователя и позволит команде увидеть отчет с точки зрения клиента и его голосом, точную мысль, которую он пытался донести.
Проверяйте данные на тенденции и повторяющиеся паттерны, то есть что-то одно, о чем пользователи могут говорить разными словами.
Отделяйте общее от частного. Помните, что не всякая проблема, которую упомянул один респондент, актуальна для всех пользователей.
Сравнивайте и сопоставляйте данные из разных блоков интервью. Это помогает найти взаимосвязи между ответами, а также разобраться в контексте, которого иногда может не хватать для лучшего понимания респондентов. Например, как соотносится материальное положение клиента и его использование продукта, есть ли зависимости между этими параметрами? Влияет ли возраст или семейное положение пользователя на задачи, которые он пытается решить с помощью вашего продукта?
Помните про разницу между фактами и мнениями. Пользователь может быть непоследовательным, а его слова — противоречить действиям. Например, если пользователь столкнулся со сложностями при выполнении задания, но затем назвал тестирование простым, обратите внимание на этот факт.
Всегда помните о целях и задачах исследования при интерпретации результатов и формулировании выводов и рекомендаций. Отделяйте главное от побочного. Главное — то, что помогает проверить гипотезы. Также если пользователь говорит о критичности проблемы, стоит обратить на это внимание и учесть. Побочным могут выступать пожелания пользователей по доработке или комментарии, которые не относятся к вашему продукту напрямую.
При анализе данных или даже в момент проведения интервью часто приходит понимание не только проблемы, но и возможных вариантов решения. Иногда приходит новое понимание, которого не было в процессе сбора данных, как изучить этот вопрос, что нужно было доспросить. Стоит это фиксировать в рекомендациях или в планах на будущие исследования.
Типичные проблемы
Мы как исследователи часто видим одни и те же ошибки, которые допускаются в работе с качественными данными.
Нехватка или неправильное понимание контекста
Неправильное толкование ответов респондентов может произойти из-за того, что во многих интервью ответы предоставляются в определенном контексте, который мы могли не понять или упустить. Например, пользователь рассказывает о том, что не получает push-уведомления от мобильного приложения и пропускает важные события. После нескольких уточняющих вопросов оказывается, что у пользователя отключены push-уведомления в настройках телефона, и это не проблема приложения. Конечные выводы могут быть искажены из-за неправильного понимания контекста или его отсутствия.
Всегда следите за тем, что у вас есть понимание того, о чем говорит пользователь. Если он рассказывает о проблеме при использовании вашего продукта, важно понять не только саму проблему, но и обстоятельства, при которой он с ней столкнулся.
Например, взаимодействие с навигационным приложением принципиально различается, когда респондент сидит в кабинете или ведет машину. В ситуации вождения сразу понятно, как «удобные» обозначения не считываются или даже мешают разобраться, куда поворачивать в моменте.
Когда мы составляем вопросы для исследования, мы не можем учесть все ответы и ситуации, о которых нам может рассказать респондент, поэтому иногда приходится отклоняться от намеченного курса интервью и задавать не только вопросы, которые мы подготовили и записали, но и дополнительные, чтобы разобраться в контексте ситуации.
Игнорирование множества мнений и противоречий
Всегда помните о целях вашего исследования. В одном случае, вашей задачей будет обобщение ответов и выявление общих тенденций. В другом — поиск редких кейсов и разбор деталей каждого конкретного ответа. Иногда, если не учитывать разнообразие мнений респондентов, можно прийти к обобщающим выводам, которые не будут полностью отражать все точки зрения. Иногда ответы респондента могут противоречить сами себе или, например, точки зрения разных участников слишком разниться. Это тоже нужно учитывать при составлении выводов.
Желание свести все к цифрам
Часто команда сфокусирована только на количественных показателях, таких как конверсии и выручка, но забывают о том, что качественные данные могут дать глубокое понимание мотивов, лежащих в основе метрик. Качественные исследования предлагают уникальные данные, которые невозможно получить из статистических данных или других количественных методов. Они показывают эмоции, мотивацию и предпочтения пользователей, объясняют то, как они принимают решения и используют наш продукт, а главное почему. Но напомним, что качественные методы не только не гарантируют, но и не предполагают количественную оценку.
С помощью анализа данных интервью вы можете выявлять закономерности, общую логику и структуру. Здесь интервью наиболее полезны, поскольку углубляются в причинные факторы. Другими словами, качественные данные помогают понять суть проблемы, а не насколько часто эта проблема встречается у целевой аудитории, методология и размер выборки этого не предполагают. Никогда не следует представлять результаты интервью в виде процентов, хотя соблазн и велик. Это приведет команду к ложным выводам. Но результаты интервью могут стать основой для разработки анкеты для количественного исследования.
Заключение
Глубинные интервью являются полезным инструментом для проверки продуктовых гипотез и помогают лучше узнать пользователей.
Анализ результатов качественных исследований позволяет снизить уровень субъективности исследователя, выделить общее (проблемы, паттерны поведения) и обратить наше внимание на действительно важные темы для проработки, сфокусировать на решении изначально поставленной задачи.
Процесс анализа данных можно разбить на несколько этапов: расшифровка записей интервью, структурирование полученных данных и тегирование, выявление закономерностей и формулирование общих выводов.
При работе с полученным массивом данных, проверяйте наличие повторяющихся тенденций и паттернов, сравнивайте ответы из разных блоков, чтобы найти взаимосвязи и лучше понять контекст, в котором находится пользователь.
Не забывайте об изначальных целях и задачах исследования. Важно выделять главное, то, что поможет проверить наши гипотезы от побочного, мнения пользователей, которые будут иметь второстепенное значение. При этом, стоит обращать внимание на ответы, в которых пользователь говорит о критичности проблемы.
