Внедрение ИИ удобнее начинать с одной повторяемой операции, у которой видны вход, хороший результат, цена ошибки и владелец. Ниже я прохожу весь путь на одном условном процессе, недельном отчёте по продажам, который руководитель отдела собирает вручную из выгрузок CRM.
Сначала замерьте процесс «до». Затем соберите небольшой результат, проверьте его на реальных прошлых случаях и только после этого запускайте пилот на 30 дней с владельцем, контрольной точкой и журналом. На 30-й день примите решение: доработать, встроить, масштабировать или остановить.
Ситуация: отчёт, который собирают каждый понедельник
Условный пример, не реальный клиент. Руководитель отдела продаж каждый понедельник выгружает из CRM несколько таблиц: сделки, оплаты, возвраты. Он сводит их в одну таблицу, сверяет итоги с бухгалтерией, дописывает комментарии по просевшим менеджерам и отправляет директору. На это уходит заметная часть утра, а к вечеру цифры иногда уже устаревают. Руководитель хочет, чтобы сводку собирала система, а комментарии и выводы оставались за ним.
1. Замер до
Прежде чем строить что-либо, опишите операцию как она есть. Выпишите, кто запускает отчёт и кто его принимает, что приходит на вход и где это лежит, как выглядит хороший выход, сколько раз операция проходит в месяц. Добавьте медианное время, долю переделок и решения, которые нельзя отдавать системе без подтверждения. Если ответов нет, проект ещё не готов: модель не исправит процесс, который никто не может описать.
Затем замерьте несколько недель. Засеките время сборки по часам, посчитайте, сколько раз после отправки в отчёт вносили правки, и запишите, какие ошибки находили директор или бухгалтерия. Этот журнал и есть точка «до». Без него через месяц останется ощущение, что «стало быстрее», которое нечем подтвердить. Сохраните и сами отчёты: они пригодятся для проверки.
- Замер довремя сборки, правки, найденные ошибки за несколько недель
- Первый фрагментсводка по выгрузкам с объяснением расхождений
- Проверка на прошлых неделяхсравнение с ручными отчётами по заранее заданным критериям
- Пилот на 30 днейвладелец, контрольная точка, инструкция, журнал
- Решениедоработать, встроить, масштабировать или остановить
2. Первый полезный фрагмент
Интерфейс на весь отдел не нужен. Соберите минимум: по трём выгрузкам система собирает сводку по менеджерам и отдельно перечисляет расхождения с объяснением, например оплату без сделки или возврат в закрытом периоде. Комментарии о причинах просадки остаются у руководителя. Anthropic советует повышать сложность только тогда, когда простое решение перестаёт справляться. Здесь может хватить фиксированной последовательности шагов с одним вызовом модели для объяснения расхождений, и самостоятельный агент не нужен.
3. Проверка на прошлых неделях
Возьмите несколько прошлых недель, которые не использовались при настройке. Включите обычные недели, недели с изменённым входом (например, добавили столбец в выгрузку) и сложные, с возвратами и закрытыми периодами. Для каждой недели у вас уже есть ручной отчёт, с которым можно сравнить результат. Критерии зафиксируйте заранее, до запуска.
Официальная документация OpenAI по evals предлагает превращать желаемое поведение системы в воспроизводимую проверку. Для нашего отчёта это набор из четырёх критериев.
| Критерий приёмки | Что считается провалом |
|---|---|
| Итоги совпадают с ручным отчётом | Сумма расходится, и причину не удалось объяснить |
| Каждое расхождение объяснено и привязано к строке выгрузки | Объяснение сделано без ссылки на источник |
| Обязательные поля и менеджеры на месте | Пропущен менеджер или период |
| Запрещённое действие не выполнено | Отчёт ушёл директору без подтверждения руководителя |
Пороги вы выбираете сами. Например, в одной компании допустят два расхождения на отчёт, а в другой ноль. Если на сложных неделях система ошибается чаще принятого порога, возвращайтесь к фрагменту, а не к пилоту.
4. Пилот на 30 дней
Пилот начинается с назначения владельца процесса, то есть руководителя отдела, и владельца результата, то есть директора. Определяется контрольная точка: дата, на которую будет принято решение. За первые семь дней выдают доступы с минимальными правами и начинают пользоваться: отчёт собирается системой, а руководитель сравнивает его с ручным вариантом. В течение месяца собираются данные об использовании, ошибках, исключениях и обратной связи.
У пилота есть четыре артефакта. Инструкция с номером версии, чтобы понимать, что именно работало. Журнал запусков: когда собрано, что прочитано, что выдано, что поправил человек. План отката, если новая версия инструкции стала хуже. Сводная карточка пилота с владельцем, критериями и контрольной точкой. Данные в пилоте остаются под правилами безопасной работы: персональные данные клиентов в тестовых запусках не используются.
5. Решение на 30-й день
Сравните журнал пилота с точкой «до»: время, число правок, найденные ошибки, использование. Дальше четыре исхода. Доработать, если результат близок к критериям и понятно, что менять. Встроить в рабочие системы, если качество устойчиво и нужна запись, например отправка отчёта по расписанию. Масштабировать на другие отделы, если для них найдутся тот же вход и тот же владелец. Остановить, если стоимость проверки и исключений съедает эффект. «Остановить» — нормальный итог: компания узнала это на одном процессе, а не на целом отделе. 30 дней здесь горизонт проверки, и результат за месяц я не обещаю.
Общее правило
Каждый шаг этого пути оставляет след, по которому можно принять решение: журнал замера, набор прошлых случаев с критериями, версия инструкции и журнал пилота. До автономности доходят только после доказанного качества. NIST рассматривает управление риском как часть проектирования, использования и оценки систем ИИ. AI RMF применяется добровольно и даёт полезную дисциплину: определить контекст, измерить риск, назначить управление и пересматривать систему. Это рамка вопросов, а не сертификат.
Следующий шаг
Выберите одну операцию своей команды и начните с журнала замера на ближайшие недели. Как выбрать операцию среди нескольких идей, показано в статье «Нейросети для бизнеса: какие задачи отдавать и как выбрать первую». Экономику агента на другом процессе я разобрал в материале «ИИ-агенты для бизнеса: разбор входящих счетов и расчёт окупаемости». Если нужна помощь, это либо корпоративная AI-программа, где участники сами проходят этот путь на своих задачах и защищают проекты, либо внедрение под ключ. Как выглядят защита проектов и решение о пилоте, описано на странице «Проекты участников корпоративной программы».
Источники и методика
- Anthropic — Building effective agents.
- OpenAI — Working with evals.
- NIST AI Risk Management Framework.
- Методические материалы шести сессий корпоративной AI-программы Дениса Ффринга. Пример с недельным отчётом по продажам условный.
Вопросы и ответы
С чего начать внедрение ИИ в бизнес-процесс?
С описания одной операции: кто запускает, что на входе, как выглядит хороший результат, сколько времени занимает и кто принимает результат. Затем замерьте её за несколько недель.
Сколько длится пилот?
В моей методике пилот занимает 30 дней: в первую неделю выдаются доступы и начинается использование, в течение месяца собираются данные, на 30-й день принимается решение. Это горизонт проверки, и бизнес-результат за месяц он не обещает.
Что делать, если пилот не дал эффекта?
Остановить проект и записать причины. Такой итог показывает, что стоимость проверки и исключений выше выгоды, и компания узнала это на небольшом контуре.