После курса по ИИ у руководителя отдела продаж остаётся вопрос, на который финал не отвечает: готовят ли менеджеры коммерческие предложения с ИИ в обычной работе, а если нет, что мешает. Ниже условный журнал на 30 дней по одной задаче и таблица: что проверить, прежде чем менять обучение или работу отдела.

Короткий ответ

Проверка в конце курса показывает, что человек умеет на этот момент. Перенос в работу лучше видно по повторным наблюдениям на живых задачах после курса. До первой записи выберите одну повторяющуюся задачу, для которой в компании разрешены ИИ-сервис и материалы, запишите критерии качества и договоритесь считать время вместе с проверкой и исправлениями. Окно я предлагаю в 30 дней: это рабочее допущение, а не проверенный срок.

По каждому поводу записывайте, использован ли ИИ, прошёл ли результат критерии, какая понадобилась помощь и что изменилось во входных данных. Неделю без такой задачи отмечайте как «нет возможности», а не как неудачу. По итогам руководитель решает, что менять: практику на конкретном шаге, документы, доступ, нагрузку или сам процесс. Перед решением выясните причину: одна и та же ошибка бывает и от пробела в навыке, и от устаревшего документа.

Финал курса и обычная работа показывают разное

Руководство CDC по оценке обучения разводит два результата: чему участники научились и применяют ли они это на работе. Второе называют переносом обучения. Изменение навыка лучше всего видно по проверке до и после курса. Тест только в конце показывает уровень, но не прирост: навык мог быть и до старта. Перенос CDC советует оценивать позже, когда у людей было время применить выученное, иногда и через руководителей.

Как выбрать программу и принять результат на финале, я разбирал в материале о корпоративном обучении ИИ. Условное упражнение с ключом проверки и подсказкой, какое задание дать сотруднику следующим, есть в статье про ИИ-грамотность. Здесь другой результат: заполненный журнал по одной обычной задаче, куда за несколько недель после курса попадает каждый её повод и каждая неделя без него. По нему видно, держится ли практика на живых заявках, когда преподавателя рядом нет, а сроки горят.

Что решить до первой записи

Материал CDC о плане оценки предлагает начинать с цели, вопросов и способов сбора данных, а объём сбора соизмерять со временем и ресурсами. Среди способов там есть наблюдение и экспертная проверка. Для отдела после курса по ИИ это пять решений, которые руководитель записывает до старта журнала.

  1. Одна повторяющаяся задача с проверяемым результатом. В примере ниже это черновик коммерческого предложения (КП) по брифу клиента и утверждённому прайс-листу. В журнал идут только задачи, для которых компания одобрила и сервис, и материалы: бриф и внутренний прайс уходят только в сервис, разрешённый политикой использования ИИ.
  2. Критерии качества, которые можно сверить с документами: цены и скидки только из действующего прайса, сроки и состав только из брифа, ни одного условия, которого в документах нет, итоговая сумма сходится.
  3. Правило учёта времени: от открытия брифа до передачи черновика руководителю, вместе с проверкой и исправлениями. Минуты, за которые ИИ выдал текст, без проверки мало что говорят о работе.
  4. Окно наблюдения. Я беру 30 дней и записываю каждый повод, включая неудачные. CDC советует подбирать срок отложенной оценки под ресурсы, тему и возможность применить навык. Редкой задаче нужно окно длиннее.
  5. Кто что записывает. Сотрудник отмечает факт, время и помощь, руководитель сверяет результат с критериями. Если задачу делали и до курса, добавьте как точку сравнения две-три прошлые работы, проверенные по тем же критериям.

Условный пример: журнал менеджера по продажам

Компания, менеджер, клиенты, прайс-лист и все цифры в этом примере выдуманы. Менеджер готовит КП для оптовых клиентов по брифу, действующему прайсу и шаблону в сервисе, который компания разрешила для этой задачи. На курсе менеджер собрал запрос под эту задачу и показал результат на финальной сессии. До курса, по прошлым записям, такой черновик занимал около 50 минут. Критерии те же, что в списке выше.

Журнал за 30 дней, условный пример
ЗаписьЧто произошлоКак читать
День 2, постоянный клиентИИ использован, 35 минут с проверкой. Руководитель нашёл скидку 7%, которой нет в прайсе, менеджер исправилОшибка по критерию скидок. Пока один случай
День 6, новый клиентВ брифе нет объёма поставки. Менеджер не стал его придумывать и передал руководителю вопрос для клиентаНе хватает контекста. Решение верное, время не сравнивать
Дни 9–15Заявок на КП нет, отдел работает на выставкеНет возможности. В ноль не превращать
День 17, повторный заказИИ использован, 30 минут. Опытный коллега подсказал разбить запрос на два шага. Критерии пройденыРезультат засчитан, помощь записана. Самостоятельность пока не видна
День 21, новый прайсСо вчерашнего дня действует новый прайс, а в рабочем сервисе лежит старая версия. КП сделано вручнуюУстаревший документ в сервисе, навык здесь не проверялся
День 24, срочный запросИИ использован, 40 минут. В черновике снова скидка не по прайсу, менеджер нашёл её сам до передачиОшибка повторилась, в этот раз менеджер нашёл её сам. Причину ещё нужно выяснить
День 29, постоянный клиентИИ использован, 30 минут, без помощи. Критерии пройдены без замечанийСамостоятельный проход на обычной задаче

Сравнить 30–40 минут с прежними 50 очень хочется. Но за месяц сменился прайс, один бриф пришёл без объёма, одна задача шла с подсказкой коллеги, а неделю заявок не было вовсе. Вывод «курс сэкономил время» из журнала не следует. Видно другое: новым способом менеджер пользуется в обычной работе, а сбои связаны со скидками и устаревшим прайсом. С этим уже можно работать.

Нет задачи, нет данных, нужна помощь

Если задача за неделю не пришла или пришла в другом виде, например КП по индивидуальному расчёту без прайса, пишите «нет возможности». Использование и навык от этого не становятся нулевыми. Когда поводов слишком мало, по пустому месяцу выводов не делайте.

«Нет данных» — другая отметка: время не записали, руководитель не успел сверить черновик. Это дыра в журнале, плохим результатом её считать нельзя. Если пропуски повторяются, выясните почему: возможно, журнал слишком тяжёлый.

Помощь записывайте вместе с тем, кто помог и на каком шаге. Так видно, где человек пока опирается на других, и оценку по этому ставить не нужно.

Смену условий отмечайте отдельно: новый прайс, другой сервис, другой тип клиентов, наплыв срочных заявок. Записи до и после такой смены сравнивайте раздельно. Сравнение «до курса» и «после» на одном человеке не отделяет курс от всего, что поменялось за месяц: прайса, сезона, нагрузки, помощи. Причины выясняйте разговором с сотрудником.

Что делать по итогам окна

Управление кадровой службы США (OPM) в материале о планировании обучения пишет, что обучение почти никогда не бывает единственным решением. Часть разрывов в результатах можно сократить другими управленческими мерами: ясными ожиданиями, поддерживающей рабочей средой, проверкой того, подходит ли человеку работа. Поэтому в таблице сначала идёт проверка, потом действие.

Что проверить и что сделать по итогам журнала
Что видно в журналеЧто проверитьСледующий шаг
Одна и та же ошибка по критерию в нескольких записяхАктуален ли документ в сервисе, понятна ли инструкция, знает ли сотрудник правило и без ИИИсправить документ или инструкцию. Если они в порядке, короткая практика на этом шаге и новое окно
Поводов почти не былоСколько таких задач приходит на самом деле и кому их отдаютПродлить окно или договориться о плановой задаче. О навыке выводов пока нет
Задачу делают вручную: нет доступа к сервису или документ в нём устарелЧто именно мешает: права, отсутствие документа или его старая версияНазначить ответственного и срок, после исправления начать окно заново
Почти каждый раз нужна подсказка коллегиНа каком шаге подсказывают и одинакова ли подсказкаЗаписать подсказку в инструкцию отдела, следующие записи смотреть без помощи
Срочные заявки делают по-старому, на новый способ нет времениСколько занимает новый способ с проверкой, кто ставит приоритетыРешить, в каких заявках новый способ обязателен, и пересмотреть нагрузку
Несколько записей подряд проходят критерии без помощиОбычные ли это задачи и не упростились ли входные данныеОставить как рабочий способ этого сотрудника на этой задаче. Другие люди и задачи — отдельное решение со своим журналом

В условном примере скидка не по прайсу встретилась дважды. Сначала руководитель проверяет, по какой версии прайса шёл черновик 24-го дня: если по старой, ошибка может быть не в сверке. Если прайс был новый, менеджер тренирует сверку каждой скидки перед передачей черновика. В обоих случаях новый прайс попадает в рабочий сервис в день утверждения, и за это отвечает конкретный человек. Следующие 30 дней журнал ведут по той же задаче, повторный курс в этом примере пока не планируют.

Где журнал заканчивается

Журнал отвечает на узкий вопрос: применяет ли конкретный человек конкретную практику в обычной работе и что мешает. Ранжировать по нему сотрудников, использовать его для аттестации, считать окупаемость курса или делать выводы обо всей компании нельзя.

Руководитель пишет критерии до старта, сверяет черновики и выбирает следующий шаг. За цены и условия в КП по-прежнему отвечает менеджер, с ИИ или без. Если руководитель журнал не читает, заводить его не стоит.

Начинать журнал удобно с той задачи, которую участник довёл до прототипа на курсе. Так устроена корпоративная программа: шесть онлайн-сессий на задачах компании, каждый участник доводит свою повторяющуюся задачу до рабочего прототипа и показывает его на финальной сессии, а инструкции и принятые материалы остаются в общей базе знаний. Журнал после курса отдел ведёт сам, программа его не заменяет.

Источники и методика

CDC — Центры по контролю и профилактике заболеваний США, материалы для разработчиков обучения в здравоохранении. OPM — Управление кадровой службы США. Это методические рекомендации, обучение работе с ИИ в них не изучалось. Журнал и все значения в примере придуманы автором для иллюстрации.