История создания Симулятора. 2 года разработки, симуляция данных и сценарное мастерство

Я хочу рассказать о том, почему я решил делать Симулятор, какие принципы были заложены в него, почему разработка заняла 2 года, и зачем в процессе мне потребовалось освоить основы сценарного мастерства.

Если вы не знаете, что такое Симулятор, то это новый образовательный продукт на базе Go Practice, где вы сможете научиться управлять продуктом на основе аналитики и данных. Подробности по ссылке.

Симулятор Go Practice - управление продуктом на основе аналитики и данных

 

С чего все началось

Идея Симулятора пришла мне в мае 2016 года во время отпуска. Я получил сообщение с вопросом по поводу статьи на Go Practice. Человек понял суть статьи, но не мог применить знания в работе. Слишком много неизвестных было на пути от теории до практики.

Это был не первый подобный случай. Я много раз сталкивался с ситуацией, когда люди понимали важность использования данных и исследований для осмысленного развития продукта, но как доходило до практики, то теория оставалась теорией, а решения принимались на основе интуиции.

Я на собственном опыте знаю, как сложно применить теорию в реальной работе. Я изучал программирование в университете, и хотя на лекциях мне все было понятно, стоило сесть за компьютер, как миллион маленьких проблем, о которых не рассказывают в классе, преграждал путь к цели. Нередко у меня уходило больше времени и нервов на настройку среды, чем на написание кода.

Я стал искать более эффективный способ донесения знаний. И у меня появилась идея воссоздать собственный профессиональный путь в виде симулятора работы в продуктовой компании, который сможет пройти любой желающий.

На тот момент я не представлял, возможно ли это сделать, будет ли это эффективнее блога. Путь к продукту, который вы видите сегодня, оказался извилистым и сложным. Ниже я расскажу об основных вехах и ключевых решениях в рамках этого приключения.

 

Первая версия Симулятора — набор Google документов с заданиями

Первым делом мне надо было убедиться, что основная идея Симулятора — «Сначала практика, потом теория» — эффективна, что она работает применительно к продуктовой профессии. То есть оказывает влияние на реальные навыки и будущие успехи студентов.

Я нашел несколько человек, которые хотели освоить навыки управления продуктом и были готовы учиться по весьма необычной методологии. Им предстояло получать раз в неделю задания, самостоятельно выполнять их, а потом на звонке со мной обсуждать возникшие вопросы.

В первой версии Симулятора не давалось никакой теории, поэтому искать пути решения поставленных практических задач нужно было самостоятельно. Потом на звонках мы обсуждали возникшие вопросы, я помогал глубже разобраться в теме, а параллельно менял задания и создавал теорию, заточенную под выявленные ошибки и заблуждения.

Первая версия Симулятора Go Practice

Одним из тех, кто прошел обучение в таком формате, был Антон Огай. До этого опыта в продуктовой разработке у него не было, но после обучения он успешно прошел собеседование и устроился в Яндекс продуктовым аналитиком.

Для меня этого было достаточно, чтобы поверить, что при правильной реализации Симулятор будет приносить пользу.

 

Путь начинающего сценариста

Убедившись, что подход «Сначала практика, потом теория» работает, я перешел к проверке второй важной и рискованной составляющей будущего продукта.

Я хотел уйти от стандартной модели обучения (лекции и домашки), а превратить опыт студента в рамках обучения в улучшенную версию реальной работы в лучших технологических компаниях мира.

Улучшенную в том смысле, что в реальных компаниях на стартовых позициях обычно доверяют мелкие неважные задачи, а в Симуляторе я мог дать людям без опыта возможность работать над интересными проектами, принимать ключевые решения. Но для достижения этого мне надо было добиться максимальной реалистичности, увязать придуманные задания в увлекательную достоверную историю.

Летом 2016 года я написал пост в Facebook, где попросил посоветовать мне книги про сценарное мастерство. В итоге я прочитал четыре книги, а историю, которая легла в основу Симулятора, переписал 5 раз.

Сценарий для Симулятора

Студенты говорят, что получилось реалистично и интересно. История обладает глубиной, но она скрыта не в персонажах, а в интеграции сюжета с данными и выводами на их основе, которые порой умышленно ведут в неправильном направлении, а потом раскрывают истину.

Получается, что это не я рассказываю, что правильно, а что нет, а студенты сами в определенный момент осознают, в чем они заблуждались. Так в процессе учебы нарабатывается практический опыт через совершение ошибок, которые в реальных проектах обошлись бы дорого.

 

Симуляция данных — нетривиальная задача на 8 месяцев

Имея на руках структуру истории и первые задания, я начал работать над фундаментом будущего продукта — реальными данными в системе аналитики.

Если вы думаете, что симулировать данные для придуманного продукта просто, то это не так. А симулировать данные так, чтобы они содержали достаточную глубину, чтобы оправдать сюжетные повороты и донести нужные знания, — задача еще на порядок сложнее.

Вместе с Женей Жульковым мы создали симулятор данных, который принимал на вход конфиг, описывающий поведение пользователей в продукте, а на выходе выдавал данные, которые мы потом загружали в Amplitude.

Это значительно более сложная задача, чем может показаться. Например, в одном из продуктов, над которым предстоит работать в Симуляторе, у пользователей есть возможность отправлять друг другу сообщения. Для достижения реалистичности необходимо было добавиться одинакового количества событий об отправленных и полученных сообщений на всех участках времени. Сделать это при условии случайной генерации событий — крайне нетривиальная задача.

Симуляция, загрузка и последующее тестирование данных — процесс небыстрый. Задача осложнялась тем, что для Симулятора требовалось смоделировать данные на целый год. Именно на этом периоде развиваются события в рамках сюжета.

Весь процесс занял 8 месяцев. А итоговый конфиг, который описывал поведение пользователей, содержал в себе более 100 000 строк.

симуляция данных для Go Practice

 

Вторая версия — все еще Google документы, но уже с историей и данными в Amplitude

Обучение на второй версии прошли еще пять человек. Они учились на небольшом кусочке того курса, который доступен сегодня (было готово примерно 25%), но опыт в продукте был уже приближен к текущему.

В новой версии уровень вовлеченности студентов вырос. Людям нравилась история, учиться стало интереснее.  Ситуации,  с которыми они сталкивались в рамках Симулятора, были очень похожи на то, что они видели на работе.

Еще недавно кажущаяся невыполнимой задача воссоздания в продукте опыта стажировки в лучших технологических компаниях была достигнута. Более того, это был реально улучшенный опыт. Где еще человеку без опыта сходу доверят управлять продуктом и принимать судьбоносные решения для компании?

Главная проблема второй версии Симулятора была в том, что фидбек на решения заданий студенты получали с задержкой. Обычно спустя день или два во время звонка со мной. При этом человек мог допустить ошибку на самом старте выполнения задания, а потом пойти в неверном направлении.

Чтобы решить эту проблему, а также избавиться от бутылочного горлышка в виде меня, мы придумали специальную интерактивную платформу. Но это был рискованный шаг.

 

Третья версия — заменяем Google документы и меня на платформу, которая дает фидбек и теорию на основе ответов студента

До этого я мог гарантировать качество и результат обучения, так как лично контролировал весь процесс с помощью регулярных звонков со студентами. Теперь цель была — автоматизировать процесс, но при этом не потерять в качестве.

Для этого была создана интерактивная платформа, которая в зависимости от ответов студентов на промежуточные проверочные вопросы, давала фидбек и заточенную под полученные ответы теорию.

Обучение на самой первой интерактивной версии Симулятора прошли около десяти человек, некоторые из которых начинали учиться еще с помощью гугл документов. Результаты были многообещающими.

  1. Во-первых, моментальный фидбек позволял людям быстрее понимать свои ошибки и усваивать материал лучше.
  2. Во-вторых, ошибки в заданиях были плюс минус похожие, а значит под каждую из них можно было создать свои ответвления в пути пользователя в Симуляторе.
  3. В-третьих, замена меня на автоматическую подачу релеватной теории в зависимости от ответов пользователей, не оказало значимого влияния на результат обучения. Чтобы убедиться в этом, я продолжал созваниваться с частью студентов, контролируя уровень понимания и приобретенных навыков.

 

Симулятору суждено быть, но впереди море работы

К этому моменту продукт был в разработке немногим больше года. Симулятор работал, но был готов лишь на 25%. Оставалось дело за малым — доделать его до конца.

Предстояло детально проработать оставшуюся часть истории, сгенерировать под нее данные, а потом протестировать новые главы, задания и теоретические материалы на реальных студентах.

В процессе несколько раз приходилось выбрасывать большой кусок работы, так как вдруг находился более интересный сюжетный поворот, либо же я понимал нереалистичность каких-то решений или выводов, принимаемых в рамках истории. Принцип максимальной реалистичности не позволял мне пустить в продукт что-то, в правдоподобность чего я бы не поверил.

Первая полная версия Симулятора появилась около 6 месяцев назад. За это время обучение начали (некоторые закончили, некоторые еще учатся) около 30 человек. На основе их опыта в продукте я продолжал менять задания, дорабатывать адаптированную теорию, а иногда даже добавлять новые главы.

 

В заключение

Сегодня студенты начинают проходить уже седьмую версию Симулятора, если считать первой ту, которая была готова 6 месяцев назад.

Когда число пользователей на интерактивной платформе выросло и мне стало сложно вручную отслеживать все новые выполненные задания, мы вкрутили Amplitude, чтобы анализировать то, как люди учатся на Симуляторе.

DAU Симулятора

Дневная аудитория Симулятора. Всплеск на графике — день публичного запуска.

Сейчас на основе собираемых данных, общения с учениками и ежедневной проверки выполненных заданий я продолжаю менять продукт, адаптируя его под ошибки и заблуждения, которые вскрываются при обучении новых студентов.

Так Симулятор развивается и с каждым днем становится более эффективным инструментом для обучения осознанному управлению продуктом на основе аналитики и данных.

 

P.S. Если вы захотели пройти обучение или узнать подробнее про Симулятор, то его можно найти по ссылке.

Запись опубликована в рубрике Uncategorized. Добавьте в закладки постоянную ссылку.