Дистанционное обучение: оценка эффективности (6 видео)

Содержание

Эффективность дистанционного обучения
Методы оценки эффективности дистанционного обучения
Современные методы дистанционного обучения
Цель дистанционного обучения
Эффективность онлайн обучения
Как понять, что сотрудник сам сдал тест?
Как понять, что сотрудник действительно прослушал вебинар?
Как быть уверенным в том, что после курса или вебинара сотрудник действительно чему-то научится?
Критерии эффективности проектов электронного обучения
Модели успешности
Литература
📺 Видео

Видео:Оценка эффективности дистанционного обученияСкачать

Эффективность дистанционного обучения

В данной статье мы рассмотрим следующие вопросы:

Методы оценки эффективности дистанционного обучения
Современные методы дистанционного обучения
Цели и задачи дистанционного обучения

Методы оценки эффективности дистанционного обучения

В обучении важен результат – экономически целесообразный, оправдывающий все ресурсы, затраченные этот процесс. Есть несколько методик определения того, насколько эффективно работает СДО (система дистанционного обучения). Ниже – наиболее распространенные из них.

1) Анкетирование

Самый простой, а потому самый популярный метод: с помощью опроса у участников обучения измеряется уровень удовлетворенности курсом, оценивается полезность, полнота и доступность учебных материалов.

Анкетирование проводится сразу после завершения обучающих мероприятий.

При этом опрос можно проводить не только среди обучаемых, но и среди их руководителей – они смогут ответить на самый важный вопрос: произошли ли изменения в работе сотрудников после обучения?

2) Тестирование

Тестирование, равно как и другие формы проверки знаний (практические задания, упражнения и т.д.), позволяет измерить то, насколько качественно усвоена информация из учебного курса.

Тестирование полезно проводить в два этапа – сразу после обучения и через некоторое время, чтобы оценить остаточные знания.

Иногда устраивают еще и предварительное тестирование, до начала обучения, чтобы замерить уровень знаний «до», а затем сравнить его с «после».

3) Анализ динамики индивидуальных показателей сотрудников

Если в компании ведется статистика каких-либо показателей труда, эти данные могут быть использованы для оценки влияния обучения на уровень развития навыков. Это могут быть: объемы продаж, количество допускаемых ошибок, число жалоб от клиентов, результаты Mystery Shopping (проверка работы сотрудников с помощью таинственных покупателей).

4) Анализ влияния обучения на бизнес-цели компании

Довольно сложный способ оценки эффективности СДО: нужно оценить связь обучающих курсов с такими показателями, как уровень удовлетворенности клиентов и сотрудников, качество выпускаемой продукции или предоставляемых услуг и проч. Трудность в том, чтобы отделить результаты обучения от влияния множества других факторов.

5) Бенчмаркинг

Относительно новый метод, суть которого в сравнении ключевых показателей эффективности с аналогичными показателями у конкурентов, особенно у лидеров отрасли. сложность – редко какая компания раскрывает сведения о программе обучения сотрудников и ее результатах. Однако такие данные изредка озвучиваются на специализированных конференциях или упоминаются в профильных изданиях.

В ходе опроса среди крупных компаний России, использующих дистанционное обучение, выяснилось, что после прохождения курса анкетирование (или иной способ получения обратной связи) из них проводят 83%, тестирование (или иной способ проверки знаний) – 71%, изменение результативности оценивают в 48% этих компаний, а экономический эффект рассчитывают в 10%.

Современные методы дистанционного обучения

Существуют четыре схемы организации работы системы дистанционного обучения в России и странах СНГ. Их используют или по отдельности, или в сочетании друг с другом.

Способы организации дистанционного обучения в компании:

1. Самообучение

Как понятно из названия – учащиеся самостоятельно взаимодействуют с СДО, без участия преподавателей. Такой метод позволяет организации экономить человеческие ресурсы и хорошо подходит для передачи несложных в усвоении знаний. В качестве проверки используются онлайн-тесты, которые также не требуют временных затрат со стороны преподавателя.

2. Обучение с участием преподавателя

https://www.youtube.com/watch?v=sxx-g3mauvc

В этом случае учащиеся не только знакомятся с учебным курсом, но и каким-то образом взаимодействуют с преподавателем. Например, он может давать обратную связь по выполненным заданиям, которые нельзя заменить тестированием. Другой распространенный формат: вебинары, где СДО играет роль технической площадки, главным же носителем знаний является преподаватель.

3. Персонализированное обучение

Схема дистанционного обучения тет-а-тет (один преподаватель и один учащийся) используется редко, т.к. он слишком трудоёмкий, да и нецелесообразна покупка или разработка системы дистанционного обучения, только лишь для того, чтобы два человека могли удаленно взаимодействовать друг с другом.

4. Комбинированное обучение

Часто применяемый метод, когда часть учебных материалов сотрудники изучают в СДО, другую часть им преподносит преподаватель (бизнес-тренер) во время очной встречи.

Схема «СДО + очное обучение» самая распространенная и эффективная: очевидно, что некоторые знания сотрудники способны усвоить самостоятельно, поэтому нет нужды тратить время преподавателя, с другой стороны, есть вещи, которые лучше всего осваивать на практике, например, в ходе тренинга или мастер-класса.

Цель дистанционного обучения

Цель дистанционного обучения такая же, как и у очного – получение новых полезных знаний. Если же сфокусироваться на внутрифирменном обучении, то правильнее будет звучать более прозаичная формулировка: передача знаний, влияющих на эффективность работы персонала, благодаря которым в конечном итоге увеличится прибыль компании.

Разумеется, влияние на финансовые показатели знаний, полученных рядовым сотрудником из курса в СДО, скорее всего, будет опосредованным и незначительным, однако и сам сотрудник, и учебный центр должны понимать, что коммерческая организация существует ради получения прибыли, поэтому все затраты, в том числе на обучение, должны окупаться.

Как сделать дистанционное обучение еще эффективнее читайте в статье «Мотивация персонала через обучение. Примеры Teachbase».

Видение конечной цели не должно ускользать от внимания, когда речь заходит о выборе метода дистанционного обучения и о способах оценки его эффективности: методы должны определяться экономической целесообразностью, а объектом измерения следует выбрать факторы, влияющие на доходность компании. Прохождение тестирования, например, это не самоцель, а промежуточный итог в процессе обучения, которое должно быть направлено на повышение квалификации до уровня, необходимого для успешного выполнения поставленных задач.

Таким образом конечной целью внедрения системы дистанционного обучения является получение большей прибыли путем использования новых навыков и знаний, приобретенных сотрудниками.

26.06.20212021-06-268 100 Владимир Щербаков

Видео:ПОВЫСИТЬ ЭФФЕКТИВНОСТЬ ОБУЧЕНИЯ. Как учиться быстрее и качественнее?Скачать

Эффективность онлайн обучения

Обязательный вопрос, который я задаю e-learning-менеджерам при подготовке кейсов: собираете ли вы обратную связь после обучения? По моим наблюдениям, молодые проекты на первом-второму году после внедрения LMS или вебинарных платформ сбором и анализом обратной связи не занимаются. А если и проводят опросы и анкетирования, то на этом этапе все активности заканчиваются. То есть, имея на руках свежие отзывы, идеи и предложение, дальнейших действий по их обработке не происходит.

Второй вопрос из серии “что происходит после обучения” касается оценки эффективности учебных мероприятий. И этот момент тоже один из самых слабых в e-learning проектах.

Вы наверняка слышали о методике ROI (расчет возврата инвестиций) или оценке по Киркпатрику (обратная связь, результат обучения, изменение поведения, влияние на бизнес), которые соединились в модели Киркпатрика-Филлипса.

Для того, чтобы реализовать эту модель, нужно:

собирать и анализировать обратную связь;
измерять результаты учебных мероприятий;
оценивать изменения в поведении (очно);
оценивать влияние обучения на бизнес-показатели (например, измерив количество ошибок в ПК до и после проведения обучения);
рассчитывать окупаемость вложенных инвестиций.

Опять же, по моим личным наблюдениям, еще ни один проект не сталкивался со спадом эффективности e-learning, если в нем проводились следующие активности:

сравнение количества обучаемых сотрудников до и после внедрения e-learning;
анализ охваченных онлайн-обучением тем, отзывов обученных слушателей и их руководителей;
анализ затрат на командировочные расходы, аренду помещений и необходимость отрыва сотрудника от рабочего места в противовес увеличению скорости и сокращению стоимости организации онлайн-обучения;
учет назначенных курсов, начатых, завершенных и незавершенных и повторных;
анализ проходного балла по тесту, проверочный обзвон для достоверности тестирования;
учет количества курсов, тестов, книг, инструкций;
анализ того, какие курсы нуждаются в обновлении, какие входят в ТОП популярных, а какие не пользуются спросом;
измерение бизнес показателей двух подразделений, и сравнение их после внедрения в одно из подразделений обучения особенностям продукта/услуги.

Более опытные менеджеры e-learning проектов могли рассказать про анализ больших данных, когда фиксируется каждый шаг пользователя на учебном портале для оценки удобства обучения, актуальности контента, выявления экспертов, построения программ адаптивного обучения и множества других задач.

https://www.youtube.com/watch?v=ZYpN4xWP7pw

Есть спорные вопросы, касающиеся того, насколько мы можем доверять информации о процессе обучения в дистанционном формате и, соответственно, судить об эффективности. Они также могут возникнуть из-за непонимания функционала инструмента и незнания методики обучения. Рассмотрим несколько примеров.

Как понять, что сотрудник сам сдал тест?

Сделайте такие вопросы, которые будут:

иметь хорошую выборку (например, 10 вопросов в тестовом задании из 100 возможных),
содержать кейсовые задания (ситуации, задачи, в которых применяются полученные знания),
содержать открытые вопросы, которые можно проверить системой автоматически (например, вписать число, слово).

Как понять, что сотрудник действительно прослушал вебинар?

Проводите вебинар таким образом, чтобы сотрудник активно участвовал, а не просто слушал. Давайте задания с обязательным выполнением, проводите опросы и тестирования, обращайтесь к участникам по имени, а также используйте функционал вебинарной платформы для контроля факта присутствия.

Как быть уверенным в том, что после курса или вебинара сотрудник действительно чему-то научится?

Ставьте правильные цели обучения, которые можно достичь в формате электронного курса. Не все задачи можно реализовать в онлайн-формате. Не получится научить продажам с помощью курса, тренажера или вебинара.

Зато онлайн-поддержкой можно дать ту часть темы продаж, которую сотрудники могут изучить самостоятельно.

И дальше в группе с тренером отработать только наиболее важную практическую часть, не потратив ценное время очного обучения на трансляцию перечня основных этапов продаж или наиболее распространенные возражения.

Как понять, что онлайн-обучение эффективно?

Ответ на вопрос очень прост.

Нужно просто думать в этом направлении, пробовать методики, способы измерения и оценки, собирать обратную связь и взаимодействовать с бизнесом для понимания критериев, по которым компания понимает, что сотрудники обучаются хорошо. Параллельно углубляться в методику онлайн-обучения, особенности использования различных инструментов и функционал платформенных решений в формате LMS и вебинарных классов.

Последний важный момент, который стоит отметить: в компании должно быть понимание того, что внедрение и развитие онлайн-обучения оказывает влияние на бизнес-процессы в компании.

Это влечет за собой анализ продуктов и услуг, настройку программных комплексов, синхронизацию систем и бизнес-процессов. Внедрение e-learning, даже с первичными потребностями покрыть нехватку информации и создать единую базу обучающих ресурсов, становится индикатором.

Сам факт существования в компании продуманного и хорошо организованного процесса онлайн-обучения покажет, где слабые места и над чем нужно работать.

Марина Литвинова
Менеджер e-LearningPRO, сооснователь Corporate e-learning Club

Видео:Основные показатели | Анализ эффективностиСкачать

Критерии эффективности проектов электронного обучения

Разделы: Организация электронного обучения

В данной статье авторы предлагают подход, позволяющий дифференцировано подходить к различным образовательным проектам, в том числе связанным с электронным обучением. Для этого предложена классификация проектов и модели их успешности, а также обозначены группы критериев оценки их эффективности.

Электронное обучение привлекает все большее внимание и оказывает все большее влияние на образовательный процесс на всех уровнях образования, поэтому неизбежно встает вопрос об оценке его эффективности, ведь затраты на организацию данной формы обучения должны оправдывать себя [1].

Также можно говорить и в настоящее время представляется интересным, об оценке эффективности проектов, связанных с электронным обучением. Идея проектов в различных сферах нашей жизни востребована и реализуется в современном мире, в том числе и в нашей стране.

Если рассматривать проект, как комплекс мероприятий, связанных с решением определенных задач и объединенных общей целью, то сейчас реализуется множество проектов по организации электронного обучения. Внедрение электронного обучения меняет представление об образовании и усиливает экономические возможности и социальную роль университетов.

В данной статье представлено наше видение возможностей измерения качества электронного обучения, которое может быть основанием для дискуссии о конкретных методах и инструментах.

https://www.youtube.com/watch?v=e3XMF6YnV4w

С целью формирования системы критериев оценки эффективности представляется необходимым рассмотреть такие вопросы как:

классификация проектов,
социально-значимая и коммерческая деятельность при реализации проектов,
что есть эффективность проектов,
критерии оценки эффективности

Приведем классификацию, достаточно условную, проектов электронного обучения в зависимости от их целей:

коммерческие, которые финансируются из доходов от собственной деятельности т.е. из средств заказчика и они, конечно, должны быть рентабельными, т.
к. главная цель — получение прибыли;
социально-значимые, которые финансируются преимущественно либо из федерального или регионального бюджетов, либо за счет внебюджетных поступлений заинтересованных учебных заведений или их объединений.

В свою очередь, коммерческие проекты могут быть направлены на реализацию образовательных программ дополнительного профессионального и корпоративного обучения, а также на организацию комбинированной формы обучения. Социально-значимые проекты могут быть нацелены на повышение качества традиционных форм обучения.

Например, повышение квалификации преподавателей, улучшение доступа к учебно-методическим материалам.

Другая возможная цель — расширение доступа бюджетных образовательных учреждений к образовательным электронным ресурсам (региональные образовательные сети, сети ресурсных центров, сетевые профильные школы, региональные депозитарии, медиатеки, электронные библиотеки и т.п.).

Безусловно, все проекты подразумевают развитие ресурсов электронного обучения, создание электронных средств обучения, разработку и распространение методического и технологического обеспечения дистанционного обучения.

Однако, каждый из вышеперечисленных проектов предполагает определенные направления деятельности, хотя, естественно предположить, что крупный университет, вкладывающий свои внебюджетные средства в развитие региональной телекоммуникационной сети, заботится и о своем устойчивом положении на рынке образовательных услуг, т.е. о своем коммерческом успехе, но и социальный эффект от такой деятельности очевиден.

Если рассматривать виды деятельности по уровням образования учебных заведений, то, очевидно, что в учреждениях общего среднего образования преимущественное направление — социально-значимые проекты, в учреждениях начального и среднего профессионального образования иногда наряду с социально-значимыми проектами присутствуют и коммерческие проекты. Соотношение социально-значимых и коммерческих проектов в учреждениях высшего образования может сильно различаться в зависимости от авторитета вуза, его положения в регионе и т.д. Причем ВУЗы могут интенсивно и успешно развивать оба направления деятельности, для этого у них, как правило, есть уже сложившаяся инфраструктура с кадровым, методическим и технологическим обеспечением. Если говорить об учреждениях дополнительного профессионального образования, где могут реализовываться проекты, то среди них надо выделять институты повышения квалификации преподавателей и специалистов образования (ИПК, ФПК и др.) и различные центры целевой подготовки, вновь созданные или существующие на базе отраслевых центров повышения квалификации кадров отрасли. И если первые их них, очевидно, существуют в первую очередь за счет бюджета, то задачей вторых не является развитие образования в целом, финансирование идет либо за счет реализации коммерческих проектов, либо за счет предприятий отрасли.

Модели успешности

Общество, заинтересованное в развитии образования должно с одной стороны гарантировать отдельному индивидууму некоторый гарантированный уровень качества образования, а с другой стороны, выделяя инвестиции на развитие образования и его ресурсов и получая некоторый продукт либо в виде обученных преподавателей либо в виде созданного методического или технологического обеспечения, элементов образовательной инфраструктуры, должно иметь возможность оценивания успешности своих инвестиций в свои социально-значимые проекты.

Итак, если реализуется коммерческий проект, то его стратегической задачей является наибольшее повышение прибыли при соблюдении некоторых норм в контексте качества образования. Таким образом, макромоделью успешности проекта является следующая:

В этом случае задачей общества является формирование системы четких критериев качества образования, в том числе качества образовательных программ, образовательных ресурсов и, их мониторинг. Задачу повышения рентабельности своей деятельности решает само образовательное учреждение при ограничениях на минимально допустимое качество образовательных услуг.

https://www.youtube.com/watch?v=XVgEaLUOLbE

В том случае, если образовательное учреждение ориентировано на выполнение преимущественно социально-значимых проектов, то в рамках выделенных обществом средств должен быть достигнут наибольший эффект, понимаемый в том или ином смысле. И тогда в качестве базовой модели, определяющей успешную деятельность, очевидно, является следующая:

И в этом случае задачей общества является формирование системы критериев оценки эффективности (успешности) деятельности с точки зрения самого общества, а также их мониторинг. При этом проблема качества в этом случае отнюдь не уходит, но учитывать ее можно разными способами. Можно также потребовать выполнения гарантированного уровня качества, что можно описать моделью вида:

Можно считать, что повышение качества является одной из составляющих интегрального критерия эффективности, и в этом случае потребовать не только выполнения гарантированного уровня качества, но и ожидать повышения качества сверх этих гарантированных норм. Этот случай можно описать моделью вида:

В связи с вышесказанным становится очевидным, что коммерческие и социально -значимые проекты должны оцениваться с разных позиций.

И, если успешность коммерчески ориентированных проектов надо оценивать, в первую очередь, в рамках теории управления бизнес-проектами, то социально-значимые проекты нужно оценивать в рамках теории оценивания проектов (Evaluation Project Management) с методической поддержкой логико-структурного подхода (Logical Framework Approach).

Данная теория получила широкое распространение в мире при оценке некоммерческих проектов, в том числе и в области образования [3]. При этом и в том и в другом случаях остается чрезвычайно актуальной проблема измерения качества и соотнесения ее с имеющимися нормативами.

К критериям оценки успешности коммерческих проектов можно отнести собственно прибыль, устойчивое положение образовательного учреждения на рынке образовательных услуг, конкурентоспособность и др.

Значительно менее исследованной является проблема формирования системы критериев оценки эффективности образовательных учреждений, выполняющих социально значимые проекты. Используя основные положения теории оценивания проектов, можно предложить следующие группы критериев.

Первая группа критериев характеризует так называемую действенность, результативность (effectiveness) в смысле достижения поставленной социальной цели, которую для образования можно сформулировать как обеспечение всеобщего и равноправного доступа к образовательным ресурсам гарантированного государством уровня качества.

Вторая группа критериев должна характеризовать эффективность деятельности (efficiency), например, в сопоставлении затраченных ресурсов (финансовых, материальных, трудовых) и степени достижения социальных целей.

Определение экономической эффективности деятельности образовательного учреждения подразумевает выполнение целого ряда исследований, в том числе: оценку экономического (социально-экономического) эффекта и величины затрат (формирование системы показателей, определения периода времени наблюдения, сбор данных, расчеты), сравнительную характеристику эффективности по группам объектов исследования (по организациям, по видам предлагаемых услуг, инвестиционных проектов и т.д.), выявление значимых факторов эффективности, построение экономико-математических моделей экономической эффективности (например, регрессионных) и др.

Очень важным критерием деятельности образовательного учреждения является его влияние (impact) на экономические, социальные, технические аспекты образования в регионе, на отдельные группы участников образовательного процесса, для чего может быть сформирован целый набор показателей, например, показатели успешности деятельности преподавателей, прошедших повышение квалификации в рамках проекта, или как полученные навыки и компетенции повлияли на профессиональный и социальный уровень слушателей.

Могут быть приняты во внимание и такие критерии как значимость (relevance) и устойчивость (sustainability) полученных результатов. Т.е. важность выполненного проекта для приоритетов развития образования в регионе или, например, как повлиял проект на качество жизни, помог ли сократить различие в уровне жизни (в областном центре и отдаленном поселке).

Задача формирования системы критериев и показателей, позволяющих оценить успешность деятельности в рамках проектов электронного обучения как с точки зрения их экономической деятельности, так и с точки зрения результативности достижения поставленных социальных целей, становится важной, так как подобная оценка необходима для принятия управленческих решений по организации электронного обучения не только в высшем образовании, но и в системе общего среднего образования, ввиду того, что школы активно подключаются к сетевым технологиям.

Безусловно, важным является вопрос расчета затрат на электронное обучение, которые могут включать затраты на формирование информационной образовательной среды, разработку учебно-методических комплексов, обучение преподавателей и т.п. Данный вопрос, также как и вопрос поиска путей повышения эффективности электронного обучения, требует отдельного рассмотрения.

Литература

Полат Е. С. К проблеме определения эффективности дистанционной формы обучения // Открытое образование. 2005. — № 3. — С. 71-77.
Бабешко В. Н., Нежурина М. И. Система оценки качества программных комплексов для дистанционного обучения. — М. : ЦДО МИЭМ : Европейский центр по качеству, 2004. — 178 с.
Project Cycle Management Handbook. EuropeAid Co-operation Office, General Affairs, Evaluation. European Commission, March 2002. – 115 c.