Я хочу рассказать о том, почему я решил делать «Симулятор управления продуктом на основе данных» (далее — «Симулятор»), какие принципы были заложены в него, почему разработка заняла два года и зачем в процессе мне потребовалось освоить основы сценарного мастерства.
«Симулятор» — это новый образовательный продукт на базе GoPractice, где вы сможете научиться управлять продуктом на основе аналитики и данных.
С чего все началось
Идея «Симулятора» пришла мне в мае 2016 года во время отпуска. Я получил сообщение с вопросом по поводу статьи на GoPractice. Человек понял суть статьи, но не мог применить знания в работе. Слишком много неизвестных было на пути от теории до практики.
Это был не первый подобный случай. Я много раз сталкивался с ситуацией, когда люди понимали важность использования данных и исследований для осмысленного развития продукта, но как только доходило до практики, то теория оставалась теорией, а решения принимались на основе интуиции.
Я на собственном опыте знаю, как сложно применить теорию в реальной работе. Я изучал программирование в университете, и хотя на лекциях мне все было понятно, стоило сесть за компьютер, как миллион маленьких проблем, о которых не рассказывают в классе, преграждал путь к цели. Нередко у меня уходило больше времени и нервов на настройку среды, чем на написание кода.
Я стал искать более эффективный способ донесения знаний. И у меня появилась идея воссоздать собственный профессиональный путь в виде симулятора работы в продуктовой компании, который сможет пройти любой желающий.
На тот момент я не представлял, возможно ли это сделать, будет ли это эффективнее блога. Путь к продукту, который вы видите сегодня, оказался извилистым и сложным. Ниже я расскажу об основных вехах и ключевых решениях в рамках этого приключения.
Первая версия Симулятора — набор Google документов с заданиями
Первым делом мне надо было убедиться, что основная идея «Симулятора» — «Сначала практика, потом теория» — эффективна, что она работает применительно к продуктовой профессии. То есть оказывает влияние на реальные навыки и будущие успехи студентов.
Я нашел несколько человек, которые хотели освоить навыки управления продуктом и были готовы учиться по весьма необычной методологии. Им предстояло получать раз в неделю задания, самостоятельно выполнять их, а потом на звонке со мной обсуждать возникшие вопросы.
В первой версии «Симулятора» не давалось никакой теории, поэтому искать пути решения поставленных практических задач нужно было самостоятельно. Потом на звонках мы обсуждали возникшие вопросы, я помогал глубже разобраться в теме, а параллельно менял задания и создавал теорию, заточенную под выявленные ошибки и заблуждения.
Одним из тех, кто прошел обучение в таком формате, был Антон Огай. До этого опыта в продуктовой разработке у него не было, но после обучения он успешно прошел собеседование и устроился в «Яндекс» продуктовым аналитиком.
Для меня этого было достаточно, чтобы поверить, что при правильной реализации «Симулятор» будет приносить пользу.
Путь начинающего сценариста
Убедившись, что подход «Сначала практика, потом теория» работает, я перешел к проверке второй важной и рискованной составляющей будущего продукта.
Я хотел уйти от стандартной модели обучения (лекции и домашки), а превратить опыт студента в рамках обучения в улучшенную версию реальной работы в лучших технологических компаниях мира.
Улучшенную в том смысле, что в реальных компаниях на стартовых позициях обычно доверяют мелкие неважные задачи, а в «Симуляторе» я мог дать людям без опыта возможность работать над интересными проектами, принимать ключевые решения. Но для достижения этого мне надо было добиться максимальной реалистичности, увязать придуманные задания в увлекательную достоверную историю.
Летом 2016 года я написал пост в Facebook, где попросил посоветовать мне книги про сценарное мастерство. В итоге я прочитал четыре книги, а историю, которая легла в основу «Симулятора», переписал пять раз.
Студенты говорят, что получилось реалистично и интересно. История обладает глубиной, но она скрыта не в персонажах, а в интеграции сюжета с данными и выводами на их основе, которые порой умышленно ведут в неправильном направлении, а потом раскрывают истину.
Получается, что это не я рассказываю, что правильно, а что нет, а студенты сами в определенный момент осознают, в чем они заблуждались. Так в процессе учебы нарабатывается практический опыт через совершение ошибок, которые в реальных проектах обошлись бы дорого.
Симуляция данных — нетривиальная задача на 8 месяцев
Имея на руках структуру истории и первые задания, я начал работать над фундаментом будущего продукта — реальными данными в системе аналитики.
Если вы думаете, что симулировать данные для придуманного продукта просто, то это не так. А симулировать данные так, чтобы они содержали достаточную глубину, чтобы оправдать сюжетные повороты и донести нужные знания, — задача на порядок сложнее.
Вместе с Женей Жульковым мы создали симулятор данных, который принимал на вход конфиг, описывающий поведение пользователей в продукте, а на выходе выдавал данные, которые мы потом загружали в Amplitude.
Это значительно более сложная задача, чем может показаться. Например, в одном из продуктов, над которым предстоит работать в «Симуляторе», у пользователей есть возможность отправлять друг другу сообщения. Для достижения реалистичности необходимо было добавиться одинакового количества событий об отправленных и полученных сообщений на всех участках времени. Сделать это при условии случайной генерации событий — крайне нетривиальная задача.
Симуляция, загрузка и последующее тестирование данных — процесс небыстрый. Задача осложнялась тем, что для Симулятора требовалось смоделировать данные на целый год. Именно на этом периоде развиваются события в рамках сюжета.
Весь процесс занял восемь месяцев. А итоговый конфиг, который описывал поведение пользователей, содержал в себе более 100 000 строк.
Вторая версия — все еще Google документы, но уже с историей и данными в Amplitude
Обучение на второй версии прошли еще пять человек. Они учились на небольшом кусочке того курса, который доступен сегодня (было готово примерно 25%), но опыт в продукте был уже приближен к текущему.
В новой версии уровень вовлеченности студентов вырос. Людям нравилась история, учиться стало интереснее. Ситуации, с которыми они сталкивались в рамках «Симулятора», были очень похожи на то, что они видели на работе.
Еще недавно кажущаяся невыполнимой задача воссоздания в продукте опыта стажировки в лучших технологических компаниях была достигнута. Более того, это был реально улучшенный опыт. Где еще человеку без опыта сходу доверят управлять продуктом и принимать судьбоносные решения для компании?
Главная проблема второй версии «Симулятора» была в том, что фидбек на решения заданий студенты получали с задержкой. Обычно спустя день или два во время звонка со мной. При этом человек мог допустить ошибку на самом старте выполнения задания, а потом пойти в неверном направлении.
Чтобы решить эту проблему, а также избавиться от бутылочного горлышка в виде меня, мы придумали специальную интерактивную платформу. Но это был рискованный шаг.
Третья версия — заменяем «Google Документы» и меня на платформу, которая дает фидбек и теорию на основе ответов студента
До этого я мог гарантировать качество и результат обучения, так как лично контролировал весь процесс с помощью регулярных звонков со студентами. Теперь целью было автоматизировать процесс, но при этом не потерять в качестве.
Для этого была создана интерактивная платформа, которая в зависимости от ответов студентов на промежуточные проверочные вопросы, давала фидбек и заточенную под полученные ответы теорию.
Обучение на самой первой интерактивной версии «Симулятора» прошли около десяти человек, некоторые из которых начинали учиться еще с помощью «Google Документов». Результаты были многообещающими.
- Во-первых, моментальный фидбек позволял людям быстрее понимать свои ошибки и усваивать материал лучше.
- Во-вторых, ошибки в заданиях были плюс минус похожие, а значит под каждую из них можно было создать свои ответвления в пути пользователя в «Симуляторе».
- В-третьих, замена меня на автоматическую подачу релевантной теории в зависимости от ответов пользователей, не оказало значимого влияния на результат обучения. Чтобы убедиться в этом, я продолжал созваниваться с частью студентов, контролируя уровень понимания и приобретенных навыков.
«Симулятору» суждено быть, но впереди море работы
К этому моменту продукт был в разработке немногим больше года. «Симулятор» работал, но был готов лишь на 25%. Оставалось дело за малым — доделать его до конца.
Предстояло детально проработать оставшуюся часть истории, сгенерировать под нее данные, а потом протестировать новые главы, задания и теоретические материалы на реальных студентах.
В процессе несколько раз приходилось выбрасывать большой кусок работы, так как вдруг находился более интересный сюжетный поворот, либо же я понимал нереалистичность каких-то решений или выводов, принимаемых в рамках истории. Принцип максимальной реалистичности не позволял мне пустить в продукт что-то, в правдоподобность чего я бы не поверил.
Первая полная версия «Симулятора» появилась около шести месяцев назад. За это время обучение начали (некоторые закончили, некоторые еще учатся) около 30 человек. На основе их опыта в продукте я продолжал менять задания, дорабатывать адаптированную теорию, а иногда даже добавлять новые главы.
В заключение
Сегодня студенты начинают проходить уже седьмую версию «Симулятора», если считать первой ту, которая была готова шесть месяцев назад.
Когда число пользователей на интерактивной платформе выросло и мне стало сложно вручную отслеживать все новые выполненные задания, мы вкрутили Amplitude, чтобы анализировать то, как люди учатся на «Симуляторе».
Сейчас на основе собираемых данных, общения с учениками и ежедневной проверки выполненных заданий я продолжаю менять продукт, адаптируя его под ошибки и заблуждения, которые вскрываются при обучении новых студентов.
Так «Симулятор» развивается и с каждым днем становится более эффективным инструментом для обучения осознанному управлению продуктом на основе аналитики и данных.
