Принцип обучения модели (Разбор основных понятий и принципов машинного обучения);
Деревья решений, ансамбли и нейронные сети (Разбор методов машинного обучения: деревья решений, ансамбли деревьев решений, нейронные сети);
Построение датасета (Изучение принципов построения датасета для обучения моделей: какие объекты добавлять в датасет, как определять целевые значения для объектов, как формировать признаки);
От бизнес-задачи к постановке ML-задачи (Практические задания на основные понятия ML);
Разбираем задачу Face Detection (Изучение задачи Face Detection: выбор данных, метода обучения модели, реализация модели и ее демо);
Разбираем задачу прогнозирования продаж (Изучение задачи прогнозирования продаж: важность задачи для бизнеса, определение типа задачи, объекта, целевого значения, источников данных для целевых значений и признаков, типа моделей, который лучше всего применить на стартовом этапе проекта);
Разбираем задачу товарных рекомендаций (Изучение задачи товарных рекомендаций: важность задачи для бизнеса, определение типа задачи, объекта, целевого значения, источников данных для целевых значений и признаков, типа моделей, который лучше всего применить на стартовом этапе проекта);
Домашнее задание #1 (Шаблон для проработки основных понятий ML-задачи);
Ошибки модели (Изучение ошибок моделей для разных типов ML-задач: регрессии, классификации, ранжирования, обнаружения объектов);
Метрики качества модели. Метрики для регрессии (Изучение понятия метрики качества и разбор метрик качества для задачи регрессии, рассмотрение примеров);
Метрики качества для классификации (Разбор метрик качества для задачи классификации, рассмотрение примеров);
Метрики качества для ранжирования и обнаружения объектов (Разбор метрик качества для задач ранжирования и обнаружения объектов, рассмотрение примеров);
Дизайн датасетов (Изучение основных принципов формирования датасетов для обучения и оценки качества моделей — обучающий, тестовый, валидационный, приемочный датасеты и их функции);
Разбиение данных (Изучение основных принципов разбиения данных для формирования датасетов);
Бизнес-метрики (Изучение понятия бизнес-метрик, их важности для ML-проектов, алгоритма выбора бизнес-метрик);
Оценка влияния модели на бизнес-метрику (Разбор способов оценки влияния моделей на бизнес-метрики: оценка на исторических данных, AB-эксперименты, пилотные внедрения);
Оценка экономики ML-проекта (Рассмотрение подхода для оценки экономики ML-проекта в целом, с учетом разработки, внедрения и сопровождения ML-системы);
Разбираем метрики для Face Detection (Выбор метрик для оценки качества модели Face Detection и бизнес-метрик пайплайна);
Разбираем метрики для прогнозирования продаж (Выбор метрик для оценки качества модели прогнозирования продаж и бизнес-метрик проекта прогнозирования продаж);
Разбираем метрики для товарных рекомендаций (Выбор метрик для оценки качества модели товарных рекомендаций и бизнес-метрик проекта товарных рекомендаций);
Домашнее задание #2 (Шаблон для проработки метрик оценки качества модели и выбор бизнес-метрик проекта);
Как выбирать способ решения ML-задачи (Рассмотрение этапов выбора решения: формирование списка возможных решений, приоритезация решений, оценка наиболее перспективных решений с помощью прототипов);
Eye Detection (Заполнение картички решения для Eye Detection);
Face Landmarks Detection (Заполнение картички решения для Face Landmarks Detection);
Выбор второго шага пайплайна и его реализация (Выбор между Eye Detection и Face Landmarks Detection, реализация Face Landmarks Detection);
Выбор третьего шага пайплайна и его реализация (Выбор между EAR и Landmarks classification, реализация EAR);
Домашнее задание #3 (Шаблон для проработки возможных способов решения ML-задачи);
Анализ ошибок ML-моделей и пайплайнов (Разбор алгоритма анализа ошибок модели, рассмотрение примеров анализа ошибок);
Анализ ошибок в основном проекте Viro (Применение алгоритма анализа ошибок в основном проекте Viro, формирование выводов по итогам анализа ошибок);
Анализ ошибок в проекте прогнозирования продаж (Применение алгоритма анализа ошибок в проекте прогнозирования продаж, формирование выводов по итогам анализа ошибок);
Анализ ошибок в проекте товарных рекомендаций (Применение алгоритма анализа ошибок в проекте товарных рекомендаций, формирование выводов по итогам анализа ошибок);
Основные причины плохого качества моделей (Разбор самых распространенных причин плохого качества моделей: обучающий датасет нерепрезентативный, упущены важные признаки, недостаточно данных в обучающем датасете, модель переобучена или недообучена, иные проблемы с моделью);
Обучающий датасет нерепрезентативен (Разбор алгоритма для диагностики проблемы нерепрезентативности обучающего датасета и методов преодоления этой проблемы);
Упущены важные признаки (Разбор алгоритма для диагностики проблемы отсутствия важных признаков в датасете и методов преодоления этой проблемы);
Недостаточно данных в обучающем датасете (Разбор алгоритма для диагностики проблемы недостаточности данных в обучающем датасете и методов преодоления этой проблемы);
Модель переобучена или недообучена (Разбор алгоритма для диагностики проблемы переобучения или недообучения модели и методов преодоления этой проблемы);
Обобщение о проблемах с моделями (Резюме о проблемах с моделью, освещение иных проблем, которые не были охвачены в предыдущих главах);
Улучшаем модель в основном проекте Viro (Диагностика причин плохого качества пайплайна в основном проекте Viro, реализация мер по преодолению найденных причин);
Улучшаем модель прогнозирования продаж Viro Food (Диагностика причин плохого качества модели прогнозирования продаж, реализация мер по преодолению найденных причин);
Улучшаем модель товарных рекомендаций Viro Food (Диагностика причин плохого качества модели товарных рекомендаций, реализация мер по преодолению найденных причин);
Встреча с реальностью (Презентация результатов основного проекта топ-менеджменту Viro);
Проблема (Проработка новой проблемы, над которой будет работать команда);
Изучение проблемы плохого опыта пассажиров Viro (Анализ негативных отзывов пользователей, интервьюирование водителей Viro, изучение публичных источников);
Переход от понимания проблемы к постановке задачи (Формулирование задачи на основе результатов проработки проблемы);
Продумываем потенциальное решение (Разбор подхода о последовательной проработке и снятию рисков ML-проекта. Проработка продуктовых рисков проекта);
Выбираем ML-задачу для MVP (Выбор способа реализации для задачи. Проработка технических рисков проекта);
Реализация и тестирование MVP (Снятие технических рисков проекта с помощью MVP);
Бизнес-метрики и экономический эффект (Проработка экономических рисков проекта);
Пилот (Пилотный запуск ML-системы на водителях Дрездена);
Обзор подходов для ML в продакшене (Рассмотрение ведущих практик продакшен ML-систем);
Развитие проекта прогнозирования продаж (Обзор дальнейшего развития проекта прогнозирования продаж Viro Food: организация внедрения и сопровождения, развитие модели прогнозирования продаж);
Развитие проекта товарных рекомендаций (Обзор дальнейшего развития проекта товарных рекомендаций Viro Food: организация внедрения и сопровождения, развитие моделей товарных рекомендаций);
Развитие основного проекта (Обзор дальнейшего развития основного проекта Viro: организация внедрения и сопровождения, развитие системы);
Подведение итогов (Принципы достижения успеха в ML-проектах. Зоны ответственности ML-менеджера).
