GoPractice публикует адаптированный перевод Lenny Rachitsky (Ленни Рачицки), инвестора, эксперта и бывшего Growth продакт-менеджера Airbnb.
Гостевым автором выступил Jorge Mazal (Хорхе Мазал), бывший CPO Duolingo. Он поделился историей о том, как зрелый продукт смог перезапустить модель роста и увеличить аудиторию на 350%. Мазал откровенно рассказывает об успехах и неудачах на этом пути и дает пищу для размышлений для всех, кому интересна тема роста продукта.
Оригинал был опубликован 28 февраля 2023 года.
Далее — текст от лица Jorge Mazal.
Я присоединился к команде Duolingo в конце 2017 года. На тот момент Duolingo уже было самым скачиваемым в мире приложением для образования, аудитория которого насчитывала сотни миллионов пользователей. Миссия Duolingo звучала так: «создать лучшее в мире приложение для обучения и сделать его доступным для всех».
Но рост числа пользователей начал замедляться. К середине 2018 года дневная аудитория (DAU) приложения росла на единицы процентов год к году, что стало большой проблемой на фоне стремительного роста приложения в предыдущие годы. Для стартапа, чьи инвесторы жаждали видеть быстрый рост доходов от монетизации, это стало серьезной головной болью.
В этом материале я расскажу о наших первых неудачах и первых победах на пути к перезапуску роста, в том числе о роли таблицы лидеров, о фокусе на пуш-уведомлениях и оптимизации функциональности “streak” (в русскоязычной локализации приложения — «ударный режим», который подразумевает ежедневное выполнение уроков. — прим. GoPractice). Эти и другие активности в плоскости продукта и маркетинга помогли вырастить DAU приложения в 4.5 раза за четыре года. Стремительный рост стал импульсом к IPO Duolingo в 2021 году.
Эта статья — подробный рассказ о нашем пути. Надеюсь, он поможет и другим нащупать рычаги для ускорения роста своих продуктов.
Первый этап: больше геймификации
Чтобы перезапустить рост продукта, мы сперва сфокусировались на нашем Retention, то есть принялись решать проблему «дырявого ведра» (когда темпы ухода пользователей сравнимы или даже опережают темпы их прироста — прим. GoPractice). Мы приоритизировали работу над удержанием пользователей, а не над привлечением новых, потому что на тот момент все новые пользователи были органическими и у нас не было понятного рычага для ускорения процесса. К тому же, в команде возникла идея, что мы можем лучше удерживать пользователей через геймификацию. И эта идея показалась мне перспективной по двум причинам.
Во-первых, Duolingo уже успешно внедрил некоторые элементы геймификации, которые себя зарекомендовали: например, прогресс на главном экране, «ударный режим» и систему достижений. Во-вторых, самые популярные мобильные игры на тот момент имели куда более высокий Retention в сравнении с нашим продуктом. А значит, мы еще не исчерпали весь потенциал геймификации в Duolingo.
Вооружившись короткой презентацией, которую мы сделали вместе с нашим главным дизайнером, мы убедили руководство создать новую отдельную команду — Gamification Team. В нее вошли технический директор, разработчик, дизайнер, продакт-менеджер и я.
Но мы не знали, какие отдельно взятые игровые механики сработают в Duolingo.
В тот момент наша команда подсела на Gardenscapes — мобильную игру жанра match-3, похожую на Candy Crush. Именно она стала нашим первым источником вдохновения.
Мы изучали игровые механики Gardenscapes, не отдавая себе отчет в том, что именно мы ищем. Но мы знали, что оторваться от Gardenscapes гораздо сложнее, чем от Duolingo. И мы видели параллели между двумя приложениями. Трехминутный урок в Duolingo очень напоминал один уровень в Gardenscapes, и шкала прогресса в обоих приложениях давала пользователям понять, насколько близко они к финишу.
Однако, в отличие от Duolingo, в Gardenscapes был еще и счетчик оставшихся ходов. Он создавал ощущение дефицита и тем самым поднимал ставки в игре. Мы добавили схожую механику в Duolingo, давая пользователям ограниченное число шансов ответить на вопрос правильно, прежде чем они будут вынуждены начать урок заново.
У нас ушло два месяца, чтобы выкатить фичу. После обновления я ожидал невероятного успеха. К моему сожалению, наши усилия не привели ни к чему. Retention не изменился. DAU остался прежним. Мы практически не получили никакого фидбека от пользователей.
Я был подавлен. Единственное, чего удалось достичь нашей команде, это внутренних разногласий. Часть из нас хотела продолжать работу над идеей, другие хотели от нее отказаться. Довольно скоро команда рассыпалась, и про нашу инициативу забыли. Это было ужасно, хотя опыт помог мне лучше понять культуру в компании и свои недостатки как менеджера. Но это тема для другого разговора.
Второй этап: реферальная программа
Погорев на наших попытках геймификации, мы отложили идею улучшать Retention и собрали новую продуктовую команду с фокусом на привлечение новых пользователей — Acquisition Team. В то время мы видели, как быстро растет число пользователей Uber и какую роль в этом играла реферальная программа.
Вдохновившись опытом Uber, мы запустили свою реферальную программу. В качестве награды мы давали бесплатный месяц подписки на Super Duolingo (тогда она называлась Duolingo Plus), что мы сочли довольно привлекательным предложением.
Мы внедрили фичу и надеялись, что наша вторая попытка будет более успешной. Но количество новых пользователей выросло лишь на 3%. Это было уже что-то, но мы не могли назвать это прорывом. Тем не менее команда продолжала работу над реферальной программой, обновляя ее, но ощутимого результата мы не увидели. Я понял, что нужно искать совсем другой подход к решению нашей проблемы роста.
Настало время перестроиться
После череды неудач я стал рефлексировать над тем, как принимать более успешные продуктовые решения.
Тогда я понял, почему счетчик ходов из Gardenscapes не подходил нашему продукту. В Gardenscapes каждый ваш ход — это стратегическое решение, потому что вам надо учитывать динамические препятствия на пути к победе.
В уроках Duolingo никакой стратегии не требуется: вы либо знаете верный ответ, либо нет. Поэтому счетчик ходов стал для приложения пятым колесом и неуместной игровой механикой в целом. Я настолько сфокусировался на сходстве Gardenscapes и Duolingo, что упустил из виду важные различия между ними.
Довольно быстро я понял и то, почему наша реферальная программа не принесла того же успеха, что и в случае с Uber. Реферальность работает для Uber именно потому, что подразумевает вовлечение пользователей в замкнутый круг оплаты за сервис по факту использования. Бесплатная поездка — это постоянный стимул.
В Duolingo мы пытались простимулировать пользователей, предлагая бесплатный месяц Super Duolingo. Но у наших самых активных пользователей уже была эта подписка, и мы уже не могли дать им бесплатный месяц. Получилось так, что наша стратегия не включала, а исключала самых преданных пользователей.
В обоих случаях мы позаимствовали механики у других продуктов, но применили их неправильно. Мы не учли то, как смена контекста отразится на успехе фичи.
Я осознал необходимость разобраться, как заимствовать идеи с умом. И сейчас, когда я хочу применить чью-то фичу в своем продукте, я спрашиваю себя:
- Почему эта фича работает в этом конкретном продукте?
- Почему эта фича может выстрелить или провалиться в нашем продукте?
- Что нужно сделать, чтобы фича стала успешной в контексте нашего продукта?
Другими словами, нам нужно было тщательнее оценивать применение механик других продуктов в нашем. Этого было бы достаточно, чтобы повлиять на то, как мы подходим к выбору конкретных механик. И тогда, скорее всего, мы бы не стали вводить реферальную программу вовсе.
Наши последующие попытки должны были стать методичными. Нам стоило научиться принимать максимально верные решения на основе данных, инсайтов и фундаментальных принципов.
Третий этап: использование данных и моделей
У Duolingo всегда здорово получалось собирать и работать с данными, особенно в A/B-тестировании. Но эти данные редко использовались для формирования продуктовых гипотез. Я знал, как работают с данными в Zynga и MyFitnessPal, поскольку работал над этими продуктами раньше, и хотел применить эти подходы для поиска North Star Metric в данных Duolingo.
Этот опыт послужил источником вдохновения для сегментирования нашей пользовательской базы по уровню вовлечения. В Zynga распределяли пользователей и измеряли Retention на основе этих метрик:
- Current users retention rate (CURR, или Retention текущих пользователей). С какой вероятностью пользователь вернется в продукт на этой неделе, если он возвращался в продукт на двух предыдущих.
- New users retention rate (NURR, или Retention новых пользователей). С какой вероятностью пользователь вернется в продукт на этой неделе, если он впервые пришел в продукт на прошлой.
- Reactivated user retention rates (RURR, или Retention реактивированных пользователей). С какой вероятностью пользователь вернется в продукт на этой неделе, если он был реактивирован на прошлой.
В MyFitnessPal работали с Retention еще глубже. Они не только измеряли рост с помощью метрик CURR, NURR и RURR, но использовали их для моделирования будущих сценариев. Они также добавили метрику SURR:
- Resurrected user retention rate (SURR): С какой вероятностью пользователь вернется в продукт на этой неделе, если он был реактивирован на прошлой неделе после долгого отсутствия.
Я предположил, что мы можем использовать эти метрики в Duolingo, чтобы создать более комплексную модель, и на ее основе идентифицировать North Star Metric. Вместе с аналитиками данных и техническим директором Acquisition Team мы придумали модель, которая показана на схеме ниже.
Мы использовали те же метрики Retention, что и Zynga и MyFitnessPal, но начали измерять их не на недельной, а на дневной основе. Мы также добавили несколько других метрик.
Блоки иллюстрируют разные сегменты пользователей, с разным уровнем вовлечения. И каждый, кто хотя бы раз пользовался Duolingo, ежедневно атрибутируется к одному из этих блоков. Таким образом, эта модель включает всех пользователей Duolingo.
Стрелками обозначено движение пользователей между этими блоками (на схеме показаны метрики CURR, NURR, RURR и SURR, которые измеряются на дневной, а не недельной основе). Вместе эти блоки и стрелки формируют практически замкнутую систему с единственной точкой входа, через которую туда попадают новые пользователи.
Четыре верхних блока вместе складываются в DAU. Эти блоки включают метрики:
- Новые пользователи (New users). Пользователи, которые впервые пришли в продукт.
- Текущие пользователи (Current users). Пользователи, которые взаимодействовали с продуктом сегодня и хотя бы один раз за последние 6 дней.
- Реактивированные пользователи (Reactivated users). Пользователи, которые взаимодействовали с продуктом после 7–29 дней отсутствия.
- Реанимированные пользователи (Resurrected users). Пользователи, которые взаимодействовали с продуктом после отсутствия на протяжении 30 и более дней.
Три оставшихся блока включают пользователей, которые не взаимодействовали с продуктом сегодня:
- WAU в группе риска (At-risk WAU). Неактивные сегодня, но активные хотя бы раз за последние 6 дней.
- At-risk WAU + DAU = WAU
- MAU в группе риска (At-risk MAU). Неактивные за последнюю неделю, но активные хотя бы раз за предшествующие 23 дня.
- At-risk MAU + WAU = MAU
- «Спящие» пользователи (Dormant users). Неактивные за последние 31 день и более.
- MAU + Dormant users = Total user base
Тот факт, что на основе модели можно легко подсчитать DAU, WAU и MAU, — одна из ключевых особенностей модели. К тому же, меняя значения, представленные стрелками, мы можем измерять суммарное и кумулятивное воздействие изменения этих значений со временем: другими словами, команда может использовать эти рычаги для роста DAU.
С помощью этой модели мы сделали ежедневные срезы данных, чтобы понять, как за последние годы менялось распределение пользователей по этим блокам и Retention разных периодов. На основе полученных данных мы могли создать прогнозирующую модель и проанализировать, какие рычаги смогут оказать наибольшее влияние на рост DAU. Мы провели симуляцию каждого значения, увеличивая его на 2% для каждого квартала в течение трех следующих лет и оставляя остальные неизменными.
Ниже — результаты нашей первой симуляции. Они демонстрируют, как эти 2-процентные изменения сказываются на прогнозируемых MAU и DAU.
Мы обратили внимание, что CURR оказывает огромное влияние на DAU. У блока Current User была интересная характеристика: текущие пользователи, оставаясь активными, возвращались в тот же блок.
Таким образом, формируется кумулятивный эффект, и хотя влиять на CURR труднее, это приносит наибольший эффект. На основе анализа мы пришли к выводу, что для желаемого рывка нам необходимо качать метрику CURR. Тогда мы сформировали новую команду — Retention Team, — для которой CURR стал North Star Metric.
Сфокусировавшись на CURR, мы отказались от работы над теми метриками, которые казались нам важными прежде, например Retention новых пользователей. Это означало большой сдвиг в мышлении компании, которая всегда фокусировалась на росте за счет экспериментов с новыми пользователями.
Мы также увидели, насколько одна метрика может по-разному влиять на DAU и MAU: например, влияние CURR на DAU было в 6 раз выше, чем на MAU. iWAURR (inactive WAU reactivation rate, или коэффициент реактивации неактивных WAU) занимал второе место по эффективности среди рычагов влияния на DAU, но четвертое место — для влияния на MAU, уступая привлечению новых пользователей и реактивации старых. Таким образом, в какой-то момент нам все равно пришлось бы искать рычаги для привлечения новых пользователей для улучшения MAU. Но пока наш фокус был на улучшении DAU, поэтому мы приоритизировали CURR среди всех остальных рычагов роста. И это оказалось верным решением.
Таблицы лидеров
Определив цель, мы стали изучать исторические данные и проведенные в прошлом A/B-тесты и искать случаи, когда нам удавалось непреднамеренно улучшить CURR. К нашему удивлению, мы ничего не нашли. CURR в принципе оставался на одном уровне последние годы. Поэтому нам предстояло наметить первые шаги к влиянию на CURR.
Я до сих пор был уверен, что геймификация отлично подходит для улучшения Retention. На самом деле, наша неудачная попытка внедрить счетчик ходов а-ля Gardenscapes вовсе не опровергла пользу геймификации для Duolingo. Мы лишь поняли, что именно эта фича не сработала. На этот раз мы решили подходить к выбору конкретных фич для заимствования с умом, учтя все уроки предыдущих попыток.
Размышления привели нас к идее сделать ставку на таблицы лидеров. И вот почему.
В Duolingo уже была таблица лидеров, чтобы пользователи могли соревноваться со своими друзьями и близкими. Но она была не особо эффективна. Опыт подсказывал, что здесь есть пространство для улучшения. В игре FarmVille 2 от Zynga тоже была таблица лидеров, аналогичная Duolingo. Во время работы над этой игрой я предположил, что игрокам интереснее соревноваться с игроками с похожим уровнем вовлечения, чем с друзьями, многие из которых уже забросили игру.
Тест этой гипотезы в Zynga подтвердил ее правдивость. Поэтому я предположил, что такая механика таблицы лидеров сработает и в Duolingo.
В таблице лидеров FarmVille 2 также была система «лиг». Благодаря этому игроки боролись не только за лидерство в еженедельной таблице лидеров, но и могли переходить из одной лиги в другую (например, из бронзовой, в серебряную, а затем в золотую). Такая механика давала пользователям большее ощущение прогресса и награды. Это, в свою очередь, увеличивало их вовлечение, потому что пользователю в более старшей лиге приходилось конкурировать со все более вовлеченными игроками. Нам показалось, что аналогичный подход будет здорово работать и в Duolingo, поскольку он опирается на человеческую потребность в конкуренции и прогрессе.
Но не все аспекты таблицы лидеров из FarmVille 2 удалось перенести в Duolingo. Нам пришлось адаптировать эту игровую механику, учитывая контекст Duolingo. В FarmVille 2 игрокам приходилось выполнять ряд дополнительных заданий помимо основного геймплея, чтобы принять участие в борьбе за лидерство в таблице.
Мы намеренно отказались от такой механики в Duolingo, потому что дополнительные задания добавят необоснованные сложности в изучении языка. И поэтому таблицу лидеров в Duolingo мы сделали простой, понятной и не требующей особых усилий. Пользователи автоматически попадали в таблицу лидеров и продвигались в ней просто проходя ежедневные уроки. Нам показалось, мы нашли правильный баланс между заимствованием механики и ее адаптацией.
Таблицы лидеров практически сразу существенно повлияли на метрики. Общее время обучения выросло на 17%, а число очень вовлеченных пользователей (тех, кто обучается минимум 1 час пять дней в неделю) выросло втрое. На тот момент мы пока не разобрались, как рассчитать статистическую значимость в случае с CURR, но мы видели, что традиционные метрики Retention (Day 1, Day 7) уже сильно и статистически значимо улучшились. По сей день таблицы лидеров продолжают оптимизироваться и служить инструментом для улучшения метрик. И что важно, это был первый большой успех для Retention Team!
Пуш-уведомления
Retention Team воодушевилась на поиски других способов повысить вовлечение и мотивацию текущих пользователей. Следующим рычагом стали пуш-уведомления. На основе A/B-тестов, проведенных за прошлые годы, в Duolingo знали, что пуш-уведомления могут сильно влиять на рост, но за последние годы их влияние вышло на плато. После успеха с таблицами лидеров команда была готова изучить возможности и этого направления роста.
В этой работе у нас был один незыблемый принцип, о котором поведал CEO Groupon. Однажды он рассказал нашему CEO, Луи вон Ану (Luis von Ahn), что Groupon долгое время придерживался отправки только одного письма-уведомления в день. И как-то раз команда задумалась, может ли увеличение числа писем повлиять на метрики. Тогда CEO согласился увеличить количество писем на одно в день. Тестирование показало существенный рост ключевых метрик Groupon. Команда продолжала эксперимент, доведя количество писем в сутки до пяти штук. И внезапно почтовый канал перестал демонстрировать какую-либо эффективность. Агрессивные тесты с рассылками в почте фактически уничтожили этот канал.
Часто команды пренебрегают риском того, что агрессивная рассылка и уведомления вынуждают пользователей отказаться от этого способа получения информации, а даже если тесты прекратить, люди уже не вернутся. И нам нужно было избежать этого любой ценой, поэтому в нашем случае мы учитывали важность сохранения канала.
С учетом этого мы дали команде свободу в оптимизации времени уведомлений, шаблонов, изображений, текстов и так далее, но она не могла увеличивать число уведомлений без веских причин и одобрения со стороны CEO. Спустя множество вариантов, итераций и тестов команде удалось добиться результатов, которые конвертировались в значительное увеличение DAU год за годом.
«Ударный режим»
В поисках еще более мощного направления роста продакт-менеджер Retention Team начал изучать корреляцию между Retention и использованием определенных фич Duolingo. Он обнаружил, что если пользователь был активен в приложении десять дней подряд, то его шансы не вернуться в следующие дни сильно снижаются. Конечно, это наблюдение основывалось на простой корреляции и избирательности фактов, но нам все равно стало интересно попробовать поработать над этой фичей и посмотреть на результаты.
Концепция «ударного режима» очень простая: показывать пользователям количество дней подряд, в которые они совершали хотя бы какое-то действие в приложении.
Нашей первой большой победой стали вечерние уведомления с предупреждением о том, что у пользователя вот-вот обнулится его «ударный режим». Эти уведомления показали, что нам есть куда оптимизировать эту механику: каждая доработка в этом направлении конвертировалась в значительное улучшение Retention.
И на сегодняшний день «ударный режим» — одна из самых мощных механик вовлечения для Duolingo. Когда люди обсуждают Duolingo, они чаще всего обсуждают именно то, сколько дней подряд они уже занимаются в приложении. Недавно я разговаривал с одним из пользователей, который похвастался, что проходил уроки в Duolingo уже 1435 дней подряд и ни разу не воспользовался «заморозкой».
Наш «ударный режим» работает по ряду причин. Он повышает мотивацию пользователя со временем: чем больше дней подряд человек заходит в приложение и выполняет задания, тем меньше он хочет обнулить этот показатель. С точки зрения Retention это то, чего мы хотим от пользователей. С каждым днем мотивация человека возвращаться в Duolingo растет, а значит, растут Retention и DAU. Успех с «ударным режимом» показал, что мы можем достигать результатов и с существующими фичами. Мы можем извлекать ценность и из значимых прорывов, и из быстрой оптимизации. Высококлассная команда умеет и то, и другое.
Рост за пределами CURR
Мы не остановились на работе с CURR. Мы подозревали, что рано или поздно CURR достигнет потолка, а значит, нам придется искать направления роста в плоскости привлечения пользователей. Retention Team сохранила фокус на CURR, но как компания мы постоянно инвестировали в создание новых продуктовых и маркетинговых команд, занятых поиском других векторов роста.
Нам повезло, и часть из наших проектов были успешными. В их числе международная экспансия, социальные возможности, ускорение создания образовательного материала, работа с инфлюенсерами, расширение присутствия в школах, небольшие инвестиции в платные каналы и наша виральность в TikTok. Каждый из этих проектов заслуживает отдельного обзора и изучения.
Результаты
Наши усилия за четыре года привели к увеличению CURR на 21%, что отражается в сокращении ежедневного оттока (Churn) наших вовлеченных пользователей на 40% и, в конечном итоге, росте DAU в 4.5 раза. В 2022 году Duolingo показал самые высокие темпы роста за всю историю. Выросло и качество нашей аудитории; доля пользователей с показателем «7 дней обучения подряд» выросла втрое и превышает половину нашего DAU. Это значит, что у Duolingo не только выросло число пользователей, но эти пользователи с более высоким шансом возвращаются в продукт, рекомендуют его друзьям и покупают подписку на Super Duolingo. Этот рост проложил дорогу к успешному IPO Duolingo.
Послесловие
Я надеюсь, эта статья вдохновит вас на поиск новых векторов роста вашего продукта. Если вы позаимствуете что-то из опыта Duolingo, обязательно адаптируйте это под контекст вашего продукта. Не копируйте опыт Duolingo и других компаний вслепую. Это не сработало в моем случае.
Счастливых экспериментов!
