Как найти возможности для применения AI в вашем продукте

Как найти потенциал для использования AI в бизнесе — и сделать это так, чтобы он приносил пользу?

В этом материале мы разберем пошаговый фреймворк, который поможет вам видеть возможности для применения AI в вашем продукте и бизнесе.

Мы изучим этот фреймворк на двух примерах, вдохновленных реальным опытом.

Марк — комплаенс-менеджер SME-банка, работающего с малыми и средними бизнесами. Он отвечает за соблюдение нормативных требований, проверяет документы и транзакции клиентов и принимает решения по подозрительным операциям. Марк рассматривает применение AI, чтобы быстрее анализировать документы, точнее сопоставлять сведения и сокращать время проверки транзакций.

Анна — продюсер образовательных проектов для студентов, которые готовятся к экзаменам. Вместе с преподавателями и методистами она отвечает за содержание программы, организацию практики и результаты подготовки. Анна рассматривает применение AI, чтобы студенты регулярнее занимались, быстрее получали полезную обратную связь и лучше решали экзаменационные задания самостоятельно.

Оба примера разберём по одной схеме: от определения задач до оценки AI-решений, бизнес-ценности, рисков, затрат и интеграции в рабочий процесс.

Поиск потенциала для AI в вашем бизнесе

Давайте рассмотрим фреймворк^*, который может помочь увидеть новые перспективы для создания бизнес-ценности с помощью AI.

Мы разберем фреймворк на примере работы комплаенс-менеджера SME-банка (работающего с малыми и средними бизнесами). Затраты на комплаенс для финансовых учреждений — это значимая статья расходов, которая превышает $200 миллиардов в год. Использование AI может заметно снизить эти затраты.

Второй пример — работа Анны, продюсера образовательных проектов для подготовки к экзаменам. Проверка работ, ответы на вопросы и подбор индивидуальной практики требуют значительных ресурсов команды. Использование AI может снизить эти затраты, повысить вовлечённость студентов и улучшить результаты подготовки.

Как понять, можно ли (и нужно ли) применять здесь AI

Основная идея заключается в том, что AI не автоматизирует работу целиком — он автоматизирует конкретные задачи. 

Любая работа состоит из множества задач: будь это или профессия (например, юрист, HR-менеджер), или «работа» в терминах фреймворка “jobs-to-be-done” (JTBD).

Алгоритм для определения потенциала применения AI:

— Определите основные задачи работы.

— Проанализируйте каждую задачу:

• оцените потенциальные решения на основе AI;
• оцените экономические выгоды;
• оцените риски.

Давайте обсудим каждый шаг более подробно и посмотрим, как он применяется, на реальном примере.

Как определить основные задачи

Марк — комплаенс-менеджер SME-банка

Вернемся к комплаенс-менеджеру SME-банка: он отвечает за соблюдение нормативных требований и контролирует транзакции клиентов банка.

Чтобы понять основные задачи, лучше всего провести несколько часов (или дней) с комплаенс-менеджерами, наблюдая за их типичной деятельностью и задавая вопросы. В результате вы получите список наиболее частых и важных задач.

Вот краткий обзор работы комплаенс-менеджера:

• Менеджер работает со специальным веб-приложением, в котором приведены подозрительные транзакции (такие транзакции обнаруживаются с помощью автоматизированной системы).
• Вся информация о клиенте доступна через это веб-приложение: бизнес-профиль, загруженные документы, история транзакций, предыдущие уведомления и так далее. 
• Менеджер может общаться с клиентом, чтобы запросить дополнительную информацию.
• У менеджера есть доступ к внешним источникам для проверки информации о клиентах.
• Менеджер принимает все решения строго на основе нормативных требований банка.
• Результатом работы менеджера является одобрение или отклонение подозрительных транзакций и пояснения, связанные с этими решениями. 

Самые важные задачи комплаенс-менеджера:

— Определение категории для документа (счет, договор аренды, контракт, лицензия, разрешение и так далее.)

— Проверка каждого документа:

• Подлинный он или поддельный?
• В чем его суть?
• Как он связан с бизнесом клиента?
• Кто контрагенты? 
• Соответствует ли он нормативным требованиям?

— Проверка каждой транзакции:

• Является ли она ожидаемой для данного типа бизнеса?
• Является ли сумма типичной?
• Соответствует ли она информации в документах клиента?

— Запрос дополнительных документов у клиентов, если невозможно принять решение.

— Принятие решения об утверждении или отклонении транзакции.

— Общение с клиентами для объяснения решения по их транзакциям.

— Проверка информации о бизнесе клиента во внешних источниках, среди которых:

• налоговые органы;
• присутствие в интернете;
• отзывы на разных площадках;
• и так далее.

Анна — продюсер образовательных проектов

Вернемся к Анне: она организует подготовку к экзаменам и вместе с образовательной командой отвечает за то, чтобы студенты проходили программу, регулярно практиковались и достигали учебных целей.

Чтобы понять основные задачи, Анне полезно провести несколько часов или дней с преподавателями, методистами и студентами: понаблюдать за занятиями, разобрать проверенные работы, просмотреть обращения за помощью и выяснить, почему отдельные упражнения остаются незавершенными. Результатом станет список наиболее частых и важных задач.

Вот краткий обзор работы образовательной команды под руководством Анны:

• Команда работает с образовательной платформой, где доступны учебные материалы, упражнения, ответы студентов и результаты контрольных работ.
• Для каждого студента доступны сведения о выбранном экзамене, целевом результате, сроке подготовки, пройденных темах, попытках решения и полученной помощи.
• Преподаватель или куратор может связаться со студентом, попросить показать промежуточные шаги или уточнить, что осталось непонятным.
• Методисты используют программу экзамена, критерии оценивания и проверенные учебные материалы, чтобы определить содержание подготовки.
• Анна согласует с командой правила подбора заданий, предоставления обратной связи и перехода к следующим темам.
• Результатом работы команды становятся учебный план, обратная связь по решениям, дальнейшая практика и подтвержденные данные о том, какие навыки студент освоил самостоятельно.

Самые важные задачи образовательной команды:

— Определение темы и типа задания: дроби, проценты, уравнения, геометрия, вероятность и так далее.

— Проверка каждого решения:

• Достаточно ли данных, чтобы судить о самостоятельном понимании студента?
• В чем суть выбранного способа решения?
• Как решение связано с ранее изученными навыками?
• Какие величины, переменные и единицы измерения использованы?
• Соответствует ли решение критериям оценивания конкретного задания?

— Проверка каждой учебной попытки:

• Соответствует ли задание текущему уровню и цели подготовки?
• Является ли затраченное время необычным для этого типа задания и конкретного студента?
• Подтверждают ли промежуточные шаги полученный ответ?

— Запрос дополнительных шагов решения или уточняющего ответа, если нельзя установить причину ошибки.

— Принятие решения о переходе к следующей теме или дополнительной практике.

— Общение со студентом для объяснения ошибки и рекомендаций по подготовке.

— Проверка соответствия материалов внешним источникам, среди которых:

• официальная спецификация выбранного экзамена;
• опубликованные критерии оценивания;
• проверенные преподавателями учебные материалы;
• сведения об изменениях содержания экзамена.

Анна также связывает эти задачи с вовлеченностью: на каком этапе студент прекращает занятие, возвращается ли после помощи и выполняет ли следующую самостоятельную попытку. Эти наблюдения помогают найти причины потери интереса, но сами по себе не заменяют проверку знаний.

Как анализировать задачи для выявления потенциала AI

Марк — комплаенс-менеджер SME-банка

Мы декомпозировали работу комплаенс-менеджера на повторяющиеся задачи. Теперь мы можем проанализировать каждую из них, чтобы выявить потенциал применения AI.

Для каждой задачи нужно:

• оценить потенциальные решения на основе AI;
• оценить экономические выгоды;
• оценить риски.

Вы можете провести этот анализ с опорой на свои знания в области AI или вместе с вашей AI-командой. 

При оценке потенциальных AI-решений стоит использовать все доступные источники: 

• статьи по соответствующим темам;
• предыдущий опыт AI-команды;
• брейнстормы с командой и стейкхолдерами;
• консультации с экспертами предметной области;
• разведочный анализ имеющихся данных;
• анализ существующих на рынке решений;
• анализ решений, которые уже применяются в компании.

При оценке экономической выгоды от решения на основе AI нужно определить, как это решение создает ценность для бизнеса и его пользователей. Обычно это будет что-то из следующих категорий: 

• увеличение дохода;
• снижение затрат;
• уменьшение времени на выполнение задачи;
• повышение точности результата;
• ускорение обработки;
• улучшение качества обслуживания клиентов.

При оценке экономических выгод и рисков используйте примерные оценочные грейды (низкий/средний/высокий) и постарайтесь сформулировать основание для каждого грейда. Чтобы получить такую оценку, нужно синхронизироваться со стейкхолдерами. Такая оценка поможет вам грамотно приоритизировать работу команды.

В наших примерах мы будем использовать очень простую систему оценок:

Низкая ценность означает, что даже с идеальным техническим решением мы не увидим никакой разницы в доходах или расходах бизнеса.

Средняя ценность означает, что качество решения точно влияет на бизнес-метрики и стоит экспериментировать с решениями, чтобы понять, как именно AI может повлиять на бизнес-показатели.

Высокая ценность означает, что решение на основе AI точно выполнит задачу более эффективно, чем это происходит сейчас.

Давайте рассмотрим два примера задач комплаенс-менеджера:

• Определение сути документа.
• Определение категории для документа.

Анна — продюсер образовательных проектов

Мы также декомпозировали образовательный процесс на повторяющиеся задачи. Для каждой Анна вместе с AI-командой, преподавателями и методистами оценивает возможное решение, экономическую выгоду и риски.

При изучении решений команда рассматривает исследования по обратной связи и обучению с AI, собственные эксперименты, примеры действующих образовательных продуктов и реальные данные об ошибках студентов. Эксперты предметной области помогают определить, какие объяснения математически корректны и педагогически полезны.

Для Анны категории бизнес-ценности приобретают конкретное содержание:

• Увеличение дохода: более полезная подготовка может улучшить рекомендации и готовность выбирать другие программы проекта; этот эффект нужно проверять с учетом экзаменационной сезонности.
• Снижение затрат: преподаватели могут тратить меньше времени на повторяющиеся объяснения и подготовку к консультациям.
• Уменьшение времени на выполнение задачи: студент быстрее получает помощь, а преподаватель — сведения о его затруднениях.
• Повышение точности результата: команда может точнее определять пробелы и выбирать следующую практику.
• Ускорение обработки: ответы студентов получают обратную связь без длительного ожидания.
• Улучшение качества обслуживания: помощь доступна в момент затруднения и учитывает контекст конкретной попытки.

Анна отдельно проверяет учебную ценность. Рост числа сообщений помощнику, продолжительности сессий или количества открытых уроков не подтверждает освоение навыка. Для этого нужны новые задания без подсказок и повторная проверка через некоторое время.

Грейды для образовательного кейса — предварительные оценки. Например, анализ причины ошибки получает среднюю ожидаемую ценность: задача влияет на качество подготовки, но дополнительный эффект именно AI еще необходимо измерить. Последствия неверной подсказки оцениваются отдельно от вероятности того, что студент заметит ошибку сам.

Давайте рассмотрим два примера задач комплаенс-менеджера:

• Определение сути документа.
• Определение категории для документа.

Параллельно рассмотрим два примера задач команды Анны:

• Определение сути решения студента и причины ошибки.
• Определение темы и типа задания.

Задача: понимание документов и решений студентов

Марк — определение сути документа

Клиенты могут предоставлять разные типы документов: счета, договоры аренды, сертификаты, коммерческие контракты, лицензии и так далее

Для каждой транзакции менеджеру необходимо скачать и открыть все релевантные документы, просмотреть их содержимое и проанализировать важные детали.

Например, для выставленного счета важно определить: 

• контрагентов;
• дату выставления счета и срок платежа;
• сумму;
• назначение платежа;
• условия платежа.

На основе этих данных и согласно политике банка менеджер решает, является ли счет действительным. Например, счет должен быть связан с клиентом банка, назначение счета должно соответствовать характеру бизнеса клиента, а внутри документа должны быть правильные даты и валюта платежа.

Эта задача занимает очень много времени, потому что документы могут содержать десятки страниц, могут быть плохого качества (например, это может быть просто снимок экрана с рукописным счетом), а на одного клиента может приходиться много документов.

Как можно применять AI 

• OCR (оптическое распознавание символов) и распознавание изображений могут использоваться для извлечения текста из отсканированных документов.
• LLM (большие языковые модели) могут использоваться для извлечения ключевой информации, интерпретации контекста документа, его саммаризации и ответов на вопросы по содержанию документа. 

Бизнес-ценность

• Уменьшение времени на выполнение задачи: AI сокращает ручной труд, необходимый для понимания документа.
• Повышение точности: точное извлечение и саммаризация ключевой информации помогает принимать более обоснованные решения.
• Средняя ценность: понимание длинных документов занимает значительную часть времени менеджера. Например, 20-страничный контракт может потребовать около пяти минут. AI может сократить это время до менее чем одной минуты, предоставив структурированное саммари документа.

Степень риска

• Средний риск: если AI неправильно интерпретирует информацию, это может привести к неверным выводам и впоследствии неверным действиям менеджера.

Анна — определение сути решения студента

Студенты могут присылать разные варианты работ: короткие ответы, подробные вычисления, текстовые объяснения, фотографии рукописных решений и построенные графики.

Для каждой попытки преподавателю необходимо открыть условие, просмотреть ход решения, сопоставить его с допустимыми методами и разобраться в важных деталях.

Например, для решения уравнения важно определить:

• какое уравнение решает студент;
• какой способ решения он выбрал;
• какие преобразования выполнил и в каком порядке;
• на каком шаге возникло расхождение;
• является ли проблема вычислительной ошибкой или непониманием правила;
• подтверждается ли итоговый ответ записанными действиями.

На основе этих данных и критериев задания преподаватель определяет, какая помощь нужна. Например, корректное решение другим способом должно быть принято, а правильный итоговый ответ при ошибочных преобразованиях не должен автоматически считаться доказательством понимания.

Эта задача может занимать значительную часть времени команды: решения бывают неполными, почерк и математические обозначения неоднозначными, а внешне похожие ошибки могут иметь разные причины. При большом числе студентов индивидуальная обратная связь начинает задерживаться.

Рассмотрим пример. Студент записал: 3(x + 2) = 15 → 3x + 2 = 15. Возможная причина — непонимание того, что множитель относится к обоим слагаемым. Однако по одной записи нельзя исключить невнимательность. Помощник может уточнить: «Как получится раскрыть скобки в выражении 2(a + 4)?» — и использовать ответ, чтобы выбрать объяснение.

Как можно применять AI

• OCR и распознавание изображений могут использоваться для извлечения текста и математической записи из фотографий; качество распознавания формул нужно проверять отдельно.
• LLM могут использоваться для структурирования шагов решения, сопоставления их с проверенным разбором, формирования гипотезы о причине ошибки и подготовки объяснения.
• Проверенные ответы и вычислительные инструменты могут использоваться для проверки поддерживаемых преобразований. При неоднозначном решении система должна запросить дополнительный шаг или направить случай преподавателю.
• История предыдущих попыток может помочь подобрать уточняющий вопрос и не повторять объяснение, которое уже оказалось непонятным.

Бизнес-ценность

• Уменьшение времени на выполнение задачи: AI может сократить ручную работу по первичному разбору и подготовке обратной связи.
• Повышение точности: структурированное представление решения может помочь преподавателю отличать повторяющийся пробел от отдельной описки; это преимущество нужно проверить.
• Повышение вовлечённости: своевременная помощь может увеличить вероятность завершения упражнения после ошибки.
• Средняя ценность: задача заметно влияет на опыт студента и нагрузку преподавателя, но влияние AI на стоимость сопровождения и самостоятельные результаты пока требует эксперимента. Анна сравнивает время до полезной обратной связи, число существенных исправлений преподавателя и успешность последующей самостоятельной попытки.

Степень риска

• Средний риск в ограниченном сценарии с проверенными заданиями и контролем качества: AI может неверно распознать символ, отвергнуть допустимый способ решения или неправильно определить причину ошибки. Студент может усвоить неверное правило. При использовании тех же выводов для автоматического выставления итоговой оценки или заключения о готовности к экзамену риск становится выше.

Задача: определение категорий документов и тем заданий

Марк — определение категории для документа

Когда клиент загружает новый документ, менеджеру необходимо определить его категорию. Примеры категорий: счета, договоры аренды, коммерческие контракты, лицензии.

Категория будет использоваться для дальнейшей верификации документа, так как каждая категория имеет свои нормативы. Информация о категории вводится в базу данных через специальный веб-интерфейс и хранится для дальнейшего использования.

Как можно применять AI 

• Технологии обработки естественного языка (NLP), больших языковых моделей (LLM), оптического распознавания символов (OCR) и распознавания изображений могут использоваться для автоматической классификации документов на основе их содержания.

Бизнес-ценность

• Меньше времени на выполнение задачи: AI сокращает время, затрачиваемое на чтение, сортировку и обработку документов.
• Низкая ценность: менеджеры могут проводить классификацию почти мгновенно. 

Степень риска

• Низкий риск: неправильная классификация может быть исправлена во время ручного ревью. 

Анна — определение темы и типа задания

Когда в образовательный проект добавляют новое упражнение, методист определяет его тему и тип. Примеры категорий: операции с дробями, линейные уравнения, проценты, тригонометрия и задачи на вероятность.

Категория используется для подбора практики и анализа результатов: задание связывается с определёнными навыками, уровнем подготовки и частью программы экзамена. Информация сохраняется в банке заданий и используется в дальнейших рекомендациях.

Как можно применять AI

• Технологии обработки естественного языка, LLM, OCR и распознавания изображений могут использоваться для анализа условия, формул и иллюстраций и предложения темы задания.
• Система может предлагать несколько навыков для многошагового задания, после чего методист подтверждает разметку.

Бизнес-ценность

• Меньше времени на выполнение задачи: AI может сократить ручную разметку новых упражнений.
• Низкая ценность в рассматриваемом проекте: основной банк уже размечен, а новые задания добавляются в объёме, с которым методисты справляются быстро. Даже хорошая классификация пока не даст заметного изменения в расходах или результатах студентов.

Степень риска

• Низкий риск при ручном ревью: методист может исправить категорию до использования задания. Если исключить проверку, неправильная разметка способна привести к неподходящей практике и ошибочным выводам о пробелах студента.

Чтобы улучшить свои навыки в таком анализе, пройдите наш «Симулятор управления ML/AI-проектами». 

Анализ всех задач 

Вот сводная таблица для всех основных задач Марка:

Вот сводная таблица для всех основных задач Анны:

Выбор скоупа проекта

Решение о том, как и где применять AI, всегда зависит от задачи.

Мы рассмотрим базовые критерии для принятия таких решений:

• Решение задачи должно приносить бизнес-ценность (снижение затрат, увеличение доходов и так далее).
• Решение на базе AI должно быть технически осуществимо. 
• Риски применения AI не должны быть слишком высоки.
• Затраты на решение должны быть меньше, чем бизнес-выгоды.

Марк и Анна применяют одни и те же критерии к своим задачам.

Для Марка подробный выбор задач исходного кейса приведён ниже. Для Анны первая область проверки — разбор решения, уточнение причины ошибки и подбор следующей практики. Решения о готовности к экзамену имеют другие последствия и требуют отдельной проверки качества.

В качестве пробного примера для реализации образовательного сценария рассмотрим passanexam.com — проект подготовки к экзаменам по математике, в частности GCSE Maths. На сайте представлен AI-тьютор Ari: заявлены проверка уровня, персональный план, объяснения и практика с обратной связью.

В нашем гипотетическом пилоте Анна выбирает несколько навыков алгебры в рамках одного экзамена и уровня. Например, раскрытие скобок, действия с выражениями и решение линейных уравнений. Для каждой темы понадобятся проверенные вопросы, допустимые методы, примеры ошибок и задания для самостоятельной проверки. Это предлагаемый сценарий эксперимента, а не описание подтверждённых результатов Pass an Exam.

Оценка осуществимости AI-решений 

Решение, скорее всего, может быть реализовано, если:

• Ваша AI-команда успешно решала аналогичную проблему в прошлом.
• Конкуренты успешно решили аналогичную проблему с помощью AI.
• Есть множество статей по этой теме.
• Есть облачные сервисы, предоставляющие аналогичное решение.
• Есть открытые библиотеки, предоставляющие аналогичное решение.
• Доступны все необходимые данные.

В некоторых случаях команда может столкнуться с трудностями. Поэтому лучше начать с простых и быстрых прототипов, чтобы лучше понять сложность, затраты и риски.

Если доступны внешние инструменты/сервисы/библиотеки, стоит использовать их, чтобы быстро получить представление о потенциальной бизнес-ценности.

Применение к Марку.

В исходном кейсе кандидаты на внедрение связаны с обработкой документов и сопоставлением информации. Марк и AI-команда могут проверить выбранные инструменты на разрешённой для тестирования выборке документов: длинных, плохо отсканированных и неоднозначных. Для каждого результата важно проверить существенные поля и связь с исходным фрагментом. Наличие готового инструмента помогает создать прототип, но качество на документах конкретного банка требует отдельной оценки.

Применение к Анне.

Анна проверяет те же основания осуществимости применительно к математической подготовке:

• Есть ли у AI-команды опыт анализа математической записи, подбора заданий или подготовки учебной обратной связи?
• Есть ли примеры работающих решений для сопоставимого экзамена, типа задач и возраста учащихся?
• Какие исследования и эксперименты помогают выбрать формат подсказки и способ проверки самостоятельного освоения?
• Какие готовые модели и сервисы подходят для работы с текстом, формулами и изображениями?
• Какие библиотеки можно использовать для проверки вычислений и поддерживаемых преобразований?
• Доступны ли проверенный банк заданий, допустимые решения, критерии оценивания и примеры реальных ошибок?

Для пилота на примере passanexam.com Анна предлагает начать с ввода решения по шагам. Работа с фотографиями добавляет отдельную задачу распознавания и отдельный источник ошибок, поэтому её можно оценить следующим этапом.

Преподаватели подготавливают набор правильных решений разными способами, типичных ошибок, неполных записей и случаев с недостаточными данными. Команда оценивает математическую корректность подсказок, их понятность, уместность уточняющих вопросов и способность студента продолжить работу. Простой прототип должен показать, какой объём человеческой проверки потребуется в реальном процессе.

Анализ затрат

Чтобы оценить затраты на AI-решение, учитывайте следующие аспекты:

• Затраты на вычисления при использовании AI-моделей или облачных сервисов.
• Усилия AI-команды.

Оцените затраты на вычисления за единицу работы. В нашем случае это может быть стоимость обработки одного документа или транзакции. Такая оценка позволит сравнить время и затраты, необходимые для ручной и автоматизированной обработки. 

Усилия команды будут зависеть от специфики предметной области, квалификации команды и наличия готовых решений. Опирайтесь на опыт команды: если она ранее работала с подобными проблемами, ожидания относительно результатов будут более реалистичными. 

Для Марка.

Единицей работы остаётся документ или транзакция. Дополнительно команда учитывает время менеджера на проверку AI-результата и исправление ошибок: быстрая генерация саммари не создаёт экономии, если затем требуется длительная перепроверка. Затраты на внедрение и сопровождение нужно распределить на реалистичный объём обработки.

Для Анны.

Единицей работы может быть разбор одного решения, учебная сессия с несколькими подсказками или месяц сопровождения активного студента. Для каждой единицы команда оценивает:

• число обращений к модели и объём передаваемого контекста;
• стоимость распознавания записи и вычислительной проверки, если они используются;
• время подготовки и обновления проверенных заданий и объяснений;
• время преподавателя на контроль качества и спорные случаи;
• усилия по интеграции, аналитике, сопровождению и исправлению ошибок.

Стоимость одной сессии включает как автоматическую обработку, так и человеческую помощь. Анна сравнивает её с текущей стоимостью сопровождения при сопоставимом качестве, а также проверяет стоимость достижения подтверждённого учебного результата.

Если студенты чаще обращаются к помощнику, расходы на AI могут вырасти. Если преподаватели вынуждены исправлять значительную часть объяснений, предполагаемая экономия исчезнет. Поэтому для пилота важно оценить не только цену отдельного запроса, но и полную стоимость полезной обратной связи и следующей самостоятельной попытки.

Давайте применим эту логику к нашим примерам.

Задача: понимание документов и решений студентов

Марк — определение сути документа

• Выполнение задачи должно приносить бизнес-ценность само по себе независимо от AI: ожидается средняя ценность – выполнения задачи потребует меньшего времени, а точность может быть выше .
• AI-решения осуществимы и могут принести улучшения для бизнеса по сравнению с текущим процессом: легко найти множество примеров подобных решений (распознавание именованных сущностей, саммаризация, OCR).
• Риски применения AI не слишком велики.
• Стоимость решения должна быть разумной: затраты на вычисления могут быть очень низкими при использовании облачных сервисов.

Краткий вывод для этой задачи: мы должны включить ее в скоуп проекта.

Анна — определение сути решения студента

• Выполнение задачи должно приносить бизнес-ценность само по себе независимо от AI: ожидается средняя ценность. Команда сможет быстрее разбирать затруднения и готовить помощь, но изменение нагрузки преподавателей и самостоятельных результатов необходимо измерить.
• AI-решения должны быть осуществимы и давать улучшения по сравнению с текущим процессом: для ограниченного набора задач можно проверить анализ шагов, подготовку уточняющих вопросов и объяснений на основе проверенных материалов. Наличие прототипа само по себе не подтверждает нужное качество.
• Риски применения AI должны быть управляемыми: в пилоте используются проверенные задания, оценка подсказок преподавателями и передача неоднозначных случаев человеку. Выводы по попытке с подсказкой не считаются достаточным подтверждением освоения.
• Стоимость решения должна быть разумной: расходы на модель, подготовку материалов и контроль качества сопоставляются с текущей стоимостью обратной связи и достигнутым учебным эффектом.

Краткий вывод для этой задачи: включить её в скоуп пилота. Решение о расширении принять после проверки качества, вовлечённости и результатов самостоятельных заданий.

Задача: определение категорий документов и тем заданий

Марк — определение категории для документа

• Решение задачи должно приносить бизнес-ценность независимо от того, используется ли AI. Ожидается низкая ценность: сотрудники могут классифицировать документы почти мгновенно. 
• Решение на основе AI осуществимо: легко найти множество примеров подобных решений (классификация документов).
• Риски применения AI низкие.
• Стоимость решения должна быть разумной: затраты на вычисления могут быть очень низкими при использовании облачных сервисов.

Краткий вывод для этой задачи: мы не должны включать ее в скоуп проекта.

Анна — определение темы и типа задания

• Решение задачи должно приносить бизнес-ценность независимо от AI. Ожидается низкая ценность: существующий банк размечен, а текущий объём новых заданий не создаёт существенной нагрузки.
• Решение на основе AI осуществимо: можно проверить автоматическую классификацию на материалах с уже известной разметкой и оценить сложные случаи с несколькими навыками.
• Риски применения AI низкие при проверке методистом до публикации задания.
• Стоимость решения должна быть разумной: даже при невысоких вычислительных затратах необходимо учитывать интеграцию, исправления и поддержку классификатора.

Краткий вывод для этой задачи: не включать её в скоуп первого пилота. Вернуться к оценке, если объём пополнения банка сделает ручную разметку значимой статьёй затрат.

Подходящие задачи для проекта

Марк — задачи исходного проекта

Исходя из описанной выше логики, мы можем определить задачи проекта:

• Определение сути документа.
• Определение того, как документ связан с бизнесом клиента.
• Определение того, является ли транзакция ожидаемой для данного типа бизнеса.
• Определение соответствия транзакции данным в документах клиента.
• Запрос дополнительных документов от клиентов.
• Проверка информации о бизнесе клиента во внешних источниках.

Анна — задачи образовательного пилота

Исходя из описанной логики, Анна выбирает следующие задачи:

• Определение сути решения студента и возможной причины ошибки.
• Определение связи затруднения с ранее изученными навыками.
• Определение соответствия следующего задания текущему уровню и цели подготовки.
• Проверка соответствия итогового ответа записанным шагам для поддерживаемых типов задач.
• Запрос дополнительных шагов или короткой диагностической попытки при недостатке информации.
• Подготовка объяснения на основе проверенных материалов с контролем качества и возможностью обращения к преподавателю.
• Сопоставление используемых материалов с выбранной программой экзамена под контролем методиста.

В пробном сценарии GCSE Maths на примере passanexam.com эти задачи образуют учебную последовательность: самостоятельная попытка → разбор затруднения → уточнение при необходимости → короткая помощь → новая самостоятельная задача → повторная проверка навыка.

Решение о переходе к следующей теме опирается на проверочные задания и согласованные с методистами правила. Автоматическое заключение о готовности к экзамену не входит в этот ограниченный пилот.

Что дальше

Марк — интеграция в рабочий процесс комплаенс-менеджера

Мы выбрали задачи комплаенс-менеджера, где применение AI выглядит наиболее перспективным. Следующим шагом нужно наметить архитектуру AI-решения. Это критический момент: теперь нам нужно вернуться к комплаенс-менеджерам и определить, как AI-решение будет интегрировано в их текущий веб-интерфейс для достижения максимальной бизнес-ценности. 

Необходимо понять:

• Как менеджер будет получать доступ к результатам AI-решения.
• Как эти результаты будут представлены в интерфейсе.
• Как будет включен в рабочий процесс фидбек менеджера о результатах, сгенерированных AI.

Лучше всего решить эти вопросы до разработки AI-решения, потому что желаемый пользовательский опыт критичен и может формировать основу решения. 

Например:

• Если саммари документа слишком длинное и неструктурированное, то это не сэкономит время менеджеров. Лучше заранее посоветоваться с ними, чтобы определить наилучший формат для саммари документов.
• Если менеджерам приходится ждать обработки документов AI-моделями каждый раз, когда они хотят получить доступ к извлеченной информации, то они потеряют драгоценное время. Лучше обрабатывать документы в фоновом режиме, как только они загружены клиентами.
• Если менеджеру нужно использовать какую-то незнакомую внешнюю систему (например, Jupyter Notebook) для доступа к извлеченной информации, это может подорвать их мотивацию использовать AI. Лучше интегрировать результаты, сгенерированные AI, непосредственно в веб-приложение, которое используют менеджеры.
• Если менеджер не может отметить ошибки в результатах, сгенерированных AI, оспорить их или если он не может понять логику принятия решений с помощью AI, то сотрудники не будут доверять такому решению и весь проект может потерпеть неудачу.

Анна — интеграция в процесс подготовки студента

Мы выбрали задачи образовательной команды, где применение AI выглядит перспективным. Следующий шаг — наметить архитектуру решения и вернуться к студентам, преподавателям и методистам, чтобы определить, как помощь будет встроена в текущую платформу и занятия.

Необходимо понять:

• Как студент будет получать помощь в контексте конкретного задания, а преподаватель — сведения о затруднениях.
• Как подсказка, объяснение, проверяемый шаг и следующая практика будут представлены в интерфейсе.
• Как система будет различать самостоятельную попытку, решение после подсказки и повторную проверку.
• Как будут собираться сообщения о непонятных объяснениях, исправления преподавателей и результаты последующих попыток.

Эти вопросы желательно решить до разработки: формат взаимодействия определяет, какие данные необходимо собирать, когда вызывать модель и какой результат она должна возвращать.

Например:

• Если объяснение слишком длинное и содержит всё решение, студент может прочитать его и перейти дальше без собственной попытки. Анне стоит заранее проверить с преподавателями и студентами формат короткой подсказки, возможность повторить шаг и постепенное раскрытие помощи.
• Если после каждой ошибки нужно долго ждать ответа, студент может прекратить занятие. Проверенные материалы и контекст задания можно подготовить заранее, а персональную обратную связь формировать по конкретной попытке. Допустимую задержку нужно проверить в прототипе.
• Если для получения помощи студент должен переходить в отдельный чат и заново копировать условие и своё решение, часть контекста теряется. В пробном сценарии passanexam.com помощь должна быть связана с текущим заданием и нужным шагом внутри подготовки.
• Если студент не может отметить ошибку AI или сообщить, что объяснение непонятно, а преподаватель — увидеть исходную попытку и исправить разбор, команда не сможет надёжно улучшать качество. Нужен понятный путь обратной связи и разбора спорных случаев.
• Если платформа считает задачу освоенной сразу после решения с подсказкой, дальнейший план может строиться на завышенной оценке знаний. Поэтому новая задача и повторная проверка выполняются без помощи, а результаты разных режимов хранятся отдельно.

Для проверки пилота Анна определяет несколько групп показателей:

• Вовлечённость: возвращаемость к практике, завершение упражнений после ошибки, выполнение запланированных занятий.
• Учебные результаты: решение новых заданий без подсказок, повторение прежних ошибок, сохранение навыка через несколько дней, результат сопоставимой контрольной работы.
• Качество помощи: доля неверных или неуместных объяснений, существенных исправлений преподавателя и случаев, переданных человеку.
• Экономика: стоимость сессии, время преподавателя на сопровождение и расходы на одного активного студента.

Анна планирует сравнить группы с одинаковыми материалами и практикой, одной из которых доступна исследуемая AI-помощь. Распределение предполагается случайным с учётом исходного уровня; итоговые задания — новыми и сопоставимыми по сложности, выполняемыми без помощника. Размер выборки и длительность эксперимента команда определяет исходя из выбранной метрики и эффекта, который требуется обнаружить.

Небольшой предварительный запуск поможет обнаружить ошибки и неудобства, но сам по себе не докажет улучшение экзаменационных результатов. Если растёт общение с AI, а самостоятельные результаты не меняются, формат помощи нужно пересмотреть. Если улучшаются освоение навыков и регулярность практики при приемлемой стоимости, можно расширять набор тем.

Резюме 

Чтобы найти потенциал применения AI, можно использовать простую схему:

— Определите задачи в рамках работы

— Проанализируйте каждую задачу:

• оцените потенциальные решения на основе AI;
• оцените экономические выгоды;
• оцените риски.

Чтобы понять основные задачи, лучше всего провести несколько часов (или дней) со специалистами, которые выполняют эту работу, чтобы наблюдать за их типичными действиями и задавать вопросы. 

При оценке возможных решений на основе AI стоит использовать все доступные источники, такие как статьи по соответствующим темам, предыдущий опыт AI-команды, мозговой штурм с командой и т. д. 

При оценке экономической выгоды полезно четко сформулировать, как решение создает ценность для бизнеса и пользователей (увеличение дохода, снижение затрат, уменьшение времени на выполнение задачи и так далее).

При оценке экономических выгод и рисков AI-решения используйте приблизительные грейды низкий/средний/высокий с кратким объяснением выбора. 

Основные критерии выбора скоупа проекта:

• Решение задачи должно приносить бизнес-ценность.
• AI-решение должно быть осуществимым.
• Риски применения AI не должны быть слишком высоки.
• Затраты на решение должны быть меньше, чем бизнес-выгода.

Прежде чем очерчивать архитектуру AI-решения, необходимо понять:

• как будут получаться результаты AI-автоматизации; 
• как они будут представлены пользователям;
• как будет обрабатываться обратная связь пользователей о результатах, сгенерированных AI.

Как эта схема объединяет примеры Марка и Анны.

Марк применяет её к работе комплаенс-менеджера: изучению документов, сопоставлению сведений и подготовке информации, необходимой для решений по транзакциям. Состав задач, оценки и выводы исходного примера сохранены выше.

Анна применяет ту же последовательность к образовательному процессу: анализу решения, выявлению затруднения, подбору помощи и дальнейшей практики. Для каждой задачи она оценивает AI-решение, бизнес-ценность, риски, осуществимость и затраты.

Пробный пример passanexam.com и GCSE Maths позволяет ограничить образовательный пилот конкретным экзаменом, уровнем и набором навыков. Основанием для расширения станут качество обратной связи, регулярность занятий, самостоятельные результаты и приемлемая стоимость сопровождения. Предполагаемый эффект нужно подтвердить экспериментом.

В обоих случаях полезность технологии проявляется в результате работы: у Марка — в качестве и скорости проверки, у Анны — в том, насколько успешно студенты учатся и готовятся к экзамену.

***

Усилить ваши навыки работы с AI-продуктами вы можете в нашем «Симуляторе управления ML/AI-проектами».

* Используемый в материале фреймворк вдохновлен статьей “What Can Machines Learn, and What Does It Mean for Occupations and the Economy?” Эрика Бриньольфссона, Тома Митчелла и Даниэля Рока. Andrew Ng популяризировал его в контексте современного AI.

Узнайте больше

Автор иллюстрации к материалу — Анна Гольде