Эффективность обучения (learning effectiveness) — мера совпадения реально достигнутых результатов с заявленными целями образовательной программы. В английском языке есть три слова, описывающие понятие эффективности: efficiency (соотношение затрат и выгод), effectiveness (результативность), efficacy (соответствие ожиданиям и целям).

Для оценки эффективности используют два типа показателей:

1. Потребительские метрики (consumptive metrics) — «Смотрите, сколько вам это стоит!»

2. Метрики результативности (impact metrics) — «Смотрите, сколько ценности мы вам приносим!»

Модель Д. Киркпатрика

В 1959 году американский исследователь Дональд Киркпатрик предложил модель оценки эффективности обучения, которая получила широкое распространение и сегодня является классической. Она предполагает, что оценка осуществляется на четырех уровнях, однако важность этих уровней для разных заинтересованных сторон (стейкхолдеров) различна.

Дональд Киркпатрик (Donald Kirkpatrick) (1924–2014) — американский исследователь, почетный профессор в Университете Висконсина и бывший президент Американского общества по обучению и развитию (ASTD). В 1954 году создал «четырехуровневую» модель для оценки курса обучения, которая послужила предметом его кандидатской диссертации. Идеи Киркпатрика были опубликованы для более широкой аудитории в 1959 году в серии статей в американском «Журнале обучения и развития», но их лучше знают из таких книг, как «Оценка учебных программ» (Evaluating Training Programs, 1994) и «Влияние обучения на поведение и внедрение четырех уровней» (Transferring Learning to Behavior and Implementing the Four Levels, 2005).

ROE (return on expectations) — отдача на ожидания (или отдача ожиданий, возврат на ожидания) — главный коэффициент, по которому можно оценить эффективность обучения. Это соотношение между ожиданиями от обучения (на всех уровнях оценки), и реальных результатов. При использовании эффективных образовательных программ, ожидания превосходятся, и этим создается новая ценность.

Пятиуровневая модель Дж. Филлипса (Jack Phillips)¹

Уровень 0. Входные данные и индикаторы

► Сколько обученных людей?

► Сколько часов обучения?

► Каковы затраты на обучение одного человека?

Уровень 1. Реакция и запланированные действия

► Была ли программа релевантна для сотрудников?

► Будет ли программа помогать слушателям достигать успеха?

► Предоставляет ли программа новые знания?

► Будут ли слушатели программы использовать на практике то, что узнали?

► Будут ли слушатели рекомендовать программу своим коллегам?

► Что можно улучшить относительно образовательных материалов, образовательной среды или навыков преподавания?

Уровень 2. Научение

► Знают ли слушатели, как смогут применить полученные знания?

► Смогут ли слушатели применить полученные знания?

► Каковы следующие шаги слушателей по наращиванию собственной экспертизы?

Уровень 3. Поведение

► Насколько эффективно слушатели могут применить то, что они узнали?

► Насколько часто им придется применять полученные знания?

► Какой процент полученных знаний в принципе применим на практике?

► Если слушатели применяют полученные знания в рабочем процессе — кто предоставляет им поддержку или помощь?

► Если слушатели не применяют на практике полученные знания — почему так происходит?

Уровень 4. Результаты

► До какой степени применение полученных знаний и умений слушателями помогает улучшить показатели выпуска, качественные, временные и затратные показатели компании?

► Повышается ли уровень удовлетворенности клиентов, удовлетворенности качеством условий труда или степень инновационности?

► Почему мы можем утверждать, что программа действительно оказала положительное влияние на перечисленные показатели?

Уровень 5. ROI (return on investments)

► Правда ли, что количественно оцененные результаты образовательной программы превосходят расходы на разработку программы?

► ROI = Net Program Beneits/Program Costs х 100.

ROI (return on investments) — методика Джека Филлипса, помогающая с помощью различных формул измерить отдачу от инвестиций в обучение как отношение денежного выражения всех выгод, связанных с обучением, к денежной оценке всех затрат (инвестиций) в обучение. Расчет этого показателя сложен и во многом субъективен, поэтому часто получение и расчет ROI не несет значительной ценности.

Джек Дж. Филлипс (Jack J. Phillips) (р. 1945) — доктор философии, член Консультативного совета KnowledgeAdvisors, Inc., председатель Института ROI, ведущего поставщика услуг для измерения, оценки показателей и аналитики. Разработал методологию ROI, создал или отредактировал более 75 книг по оценке, метрикам и аналитике. Автор книги «Руководство по оценке и методам обучения» (Handbook of Training Evaluation and Measurement Methods, 1983). Сегодня его работы печатаются в Wall Street Journal, Bloomberg Businessweek, Fortune и в CNN.

Модель человеческого капитала

Основана на измерении производительности компании через определение пробелов в знаниях и навыках сотрудников и отдачи от их восполнения через систему обучения.

Параметрами оценки при ее использовании являются проблемы в реализации бизнес-процессов (в денежном эквиваленте), оценка знаний и навыков, необходимых сотруднику для устранения проблем в бизнес-процессах, а также проблемы в реализации бизнес-процессов, связанные с работой сотрудников.

Примеры показателей в разных моделях измерения эффективности образования

Модель Дж. Филлипса

► материальные выгоды (оценка производительности труда в денежном эквиваленте, изменение издержек);

► нематериальные выгоды (изменение удовлетворенности сотрудников, текучести кадров, затрат на подбор персонала);

► стоимость услуг преподавателей; стоимость оборудования, учебно-методических материалов, организация питания, стоимость отрыва участников от работы на период обучения.

Модель человеческого капитала

► продолжительность выполнения операций;

► проблемы с движением денежных средств, недостачи;

► какой процент проблемы можно отнести на счет мотивации, навыков, технических решений;

► процент проблемы в реализации бизнес-процесса, обусловленный работой сотрудника, удовлетворенность клиентов.

Модель Д. Киркпатрика

► оценка программы, преподавателя, степени полезности содержания программы, условий обучения;

► оценка уровня усвоения материала участниками программы;

► соответствие полученных навыков рабочим обязанностям сотрудника, применимость и актуальность полученных знаний;

► производительность сотрудника после обучения.

Ожидания заказчиков обучения²

Индекс лояльности

Индекс лояльности NPS (net promoter score) — индекс готовности рекомендовать, метрика лояльности. Респондентам предлагается ответить на один единственный вопрос: «Какова вероятность, что вы порекомендуете учебную программу своим коллегам?».

Этапы развития системы оценки эффективности

Любая система оценки проходит несколько этапов развития. В 2017 году журнал Chief Learning Oicer предложил разделить процесс на четыре составляющие:

Методы оценки в Корпоративном университете Сбербанка

Корпоративный университет Сбербанка находится одновременно на всех четырех этапах развития системы оценки эффективности и успешно применяет некоторые продвинутые методы оценки в различных образовательных программах.

Программа профессиональной переподготовки «Сбербанк 2020»

► Уровень менеджмента: средний. Обучено более 2000 человек.

► Методы оценки эффективности: оценка успешности внедрения бизнес-проекта.

► Отслеживание карьерных траекторий.

► Оценка профессиональных компетенций.

► 9,2 — оценка удовлетворенности слушателей.

«Риск-менеджмент I, II»

► Уровень менеджмента: линейный, средний. Обучено 15 000 человек.

► Методы оценки эффективности: метод proxy-индикатора для оценки динамики риск-культуры в банке (на основе опроса 90 000 сотрудников).

► В основе опросника — шкала Лайкерта.

► 75% — общий показатель риск-культуры.

► 9,0 — оценка удовлетворенности слушателей.

«Мастерская руководителя ВСП» (внутреннее структурное подразделение)

► Уровень менеджмента: линейный. Обучено более 18 000 человек.

► Методы оценки эффективности: пилот по оценке влияния обучения на бизнес-показатели через интегральную оценку работы с отклонениями.

► 9,7 — оценка удовлетворенности слушателей.

Вовлечение руководителей в оценку изменений поведения сотрудников

Для вовлечения руководителей в оценку изменения поведения своих подчиненных была разработана анкета с чек-листом. Она автоматически направляется руководителям через 3–6 месяцев после окончания программы обучения.

Рассмотрим оценку изменений на примере программ Корпоративного университета Сбербанка.

► «Ценообразование и структурирование банковских продуктов». На дистанционной программе слушатели изучают влияние продуктов и сделок на риски банка, выявляют последствия некорректного структурирования продуктов и сделок. NPS слушателей программы составляет 62%, а показатель NPS от руководителей — 66%.

► «Эффективные переговоры 2.0». На программе смешанного формата слушатели учатся внедрять в переговорную практику алгоритмы и приемы, повышающие эффективность переговоров, применяют техники вывода переговоров из «тупика». NPS слушателей программы составляет 71%, а показатель NPS от руководителей — 45%.

► «Дизайн-мышление: от инсайтов к инновациям». На программе слушатели изучают 6 этапов дизайн-мышления для формирования культуры экспериментирования, создания инновационных решений с учетом потребностей целевой аудитории. NPS слушателей программы составляет свыше 70%, а показатель NPS от руководителей — 50%.

Не стоит равнозначно смотреть на показатели NPS руководителей и слушателей. Разница между результатами анкетирования заключается в разных уровнях проведения оценки по модели Д. Киркпатрика. Слушатели оценивают эффективность по первому уровню Киркпатрика (оценка программы, преподавателя, условий обучения) и указывают, насколько они готовы порекомендовать коллегам учиться на программе.

Руководитель в первую очередь оценивает сотрудника по третьему уровню модели (соответствие полученных навыков рабочим обязанностям, применимость и актуальность полученных знаний в рабочих ситуациях), поэтому такой показатель может быть меньше, чем NPS слушателей. Такой подход помогает минимизировать эмоциональную составляющую, которая свойственна слушателям сразу после завершения курса. В некоторых случаях NPS слушателей может быть высоким по причинам, не зависящим от обучающей программы (например, окружающая среда или харизма тренера). Однако использование чек-листов, направляемых руководителям (которые могли не обучаться на программе и не столкнуться с данными факторами), помогает повысить объективность оценки.