Методы оценки качества образовательного опыта и их необходимость

Содержание:

• Ключевые элементы, определяющие качество образовательного опыта
• Методы оценки показателей образовательного процесса
• Почему важно для компаний отслеживать и улучшать показатели образовательного опыта
• Идеальный образовательный опыт в условиях современного мира

Этой осенью группа, объединившая усилия EdTech-хаба «Сколково», университета Skypro, исследовательского агентства Smart Ranking и аналитической компании EdYes, выступила с предложением к руководителям сектора онлайн-образования о необходимости разработки своего рода кодекса для отрасли. Этот кодекс должен включать в себя ясные критерии, позволяющие оценивать качество дополнительного профессионального образования (ДПО), с целью повышения образовательных достижений студентов и их конкурентоспособности на рынке труда.

В начале октября в «Сколково» состоялись конференция и открытый воркшоп, посвященные теме «Критерии оценки качества дополнительного профессионального онлайн-образования». В ходе данных мероприятий участники определили двенадцать метрик, позволяющих оценивать уровень качества дополнительного образования в онлайн-формате.

Двенадцать предложенных для анализа показателей эффективности онлайн-образования:

• реферальная способность, склонность рекомендовать курс;
• анализ степени удовлетворенности различными компонентами образовательного процесса;
• коэффициент трансформации/коэффициент успешности ― удалось ли выпускнику достичь поставленных образовательных целей;
• COR, процент удержания аудитории, а также уровень завершения.
• степень уверенности работодателя в определенном учебном заведении или программе курсов;
• Возврат инвестиций студента (время, необходимое для того, чтобы обучение оправдало свои расходы);
• значимость содержания курса;
• Сотрудничество учебных заведений с представителями бизнеса и процесс трудоустройства.
• Анализ изменения заработной платы студентов на протяжении времени.
• доля посещаемости в текущий момент;
• присутствие у курса безопасного пространства и экологически чистая атмосфера в общении;
• создание благоприятной атмосферы, вовлечение в круг специалистов и выпускников.

В рамках продолжения обсуждения, Школа образования организовала встречу с экспертами из области образовательных технологий для изучения менее очевидного аспекта, касающегося качества образовательного процесса. Обычно в подобных разговорах акцент делается на результатах обучения, таких как получение новой специальности или повышение квалификации в контексте дополнительного профессионального образования. Однако на этот раз участники сосредоточились на дополнительных эффектах образовательного процесса: выясняли, получил ли обучающийся инсайты, которые не входили в программу, насколько комфортно ему было на протяжении курса и удалось ли создать активное сообщество среди студентов.

Несомненно, оценка этих показателей представляет собой сложную задачу. Но действительно ли стоит к этому стремиться, и если да, то с какой целью? Мы предлагаем вам узнать мнения специалистов по этому вопросу. Полный видеозапись обсуждения на тему «Метрики качества образовательного опыта, а не результата: нужно ли оценивать и как это делать?» можно найти на YouTube.

Ключевые элементы, определяющие качество образовательного опыта

Ася Фурсова, декан School of Education и модератор встречи, предложила начать с определения компонентов, составляющих образовательный опыт студента, а также выяснить, какие из этих элементов влияют на восприятие качества обучения. Участники дискуссии выделили несколько основных аспектов.

Михаил Свердлов, занимающий пост директора по развитию бизнеса в компании Skypro, открыл свой разговор с утверждения, что большинство людей крайне редко определяет для себя конкретные образовательные цели. Он привёл результаты внутреннего анализа, проведённого в группе компаний Skyeng, о том, что значительное количество взрослых учащихся не осознаёт, с какой целью они начинают изучать, к примеру, английский язык.

Лишь 20% учащихся в Skyeng способны четко объяснить свои цели в обучении, тогда как 60% из них не имеют ясного представления и ориентируются на общие вопросы: «Возможно, это нужно для работы, учебы или чего-то другого?» Они отвечают: «Да, конечно, также хочется смотреть Netflix на английском». На самом деле, мы хорошо понимаем, кто из них действительно использует английский для просмотра Netflix. Кроме того, 20% студентов завершают беседу с методистом на вводном уроке фразой: «Слушайте, а можно просто заплатить и начать обучение, а потом уже разберемся?»

По мнению Михаила, существуют, безусловно, те, кто ставит перед собой ясные цели, такие как изучение английского языка для эмиграции или повышение своей квалификации после увольнения. Однако это скорее исключение, чем правило. Спикер подчеркивает, что важно обратить внимание на то, насколько осознанно человек подходит к выбору образовательной программы. В этом контексте полезным показателем может стать уровень оттока студентов, или процент возвратов, который демонстрирует количество тех, кто осознал, что не выбрал подходящий для себя курс, и решил покинуть его.

Марина Литвинова, директор по продукту и глава «Гильдии методистов» в EdMarket, рассказала о своем опыте, связанном с оттоком студентов из курса по подготовке технических администраторов для онлайн-школ. Выяснилось, что одной из основных причин, по которой студенты покидают курс, являются неверные ожидания. Программа обучения включает значительную нагрузку в области технических аспектов, и студентам необходимо самостоятельно осваивать определенные инструменты. К подобным требованиям многие из них оказались не готовы.

Методисты EdMarket внесли изменения в программу открытого промовебинара, целью которого является ознакомление с профессией техадминистратора. Теперь информация подается более наглядно, что помогает потенциальным студентам лучше понять, чем именно они будут заниматься. В рамках вводного занятия были детально рассмотрены задачи, с которыми предстоит столкнуться учащимся, а также приведены конкретные примеры. Эти меры позволили более эффективно отфильтровать аудиторию, которая не соответствует требованиям курса, и подготовить студентов к предстоящей учебной нагрузке, а также дать им нужные ориентиры.

Марина Литвинова обратила внимание на важную проблему, возникающую в процессе группового обучения: в одной группе могут оказаться ученики с совершенно различными целями. Некоторые из них искренне стремятся освоить новую профессию и глубже понять предмет, другие ищут срочный способ заработать, чтобы справиться с кредитными обязательствами, а третьи приходят на курсы ради общения. Эта ситуация ставит перед нами ряд вопросов: как эффективно поддерживать обучение такой разнородной группы, каким образом организовать индивидуальную поддержку со стороны наставников и какие именно критерии следует использовать для оценки образовательного опыта людей с разными целями.

Таким образом, EdMarket использует отзывы студентов для оценки уровня их удовлетворенности работой службы поддержки. Кроме того, на каждом потоке обязательно проводятся оценки таких показателей, как NPS, промежуточный и итоговый COR, а также другие метрики.

Читайте также:

Оценка эффективности онлайн-курса представляет собой важную задачу, которая позволяет понять, насколько успешно он достигает своих образовательных целей. Существует несколько подходов и критериев для анализа.

Во-первых, стоит обратить внимание на уровень удовлетворенности участников. Опросы и отзывы могут дать ценную информацию о том, насколько курс соответствует ожиданиям учащихся, насколько доступен материал и насколько комфортна образовательная среда.

Во-вторых, необходимо оценить усвоение знаний. Для этого можно использовать тесты и контрольные задания, которые помогут определить, насколько успешно студенты освоили материал. Анализ результатов таких проверок позволит выявить сильные и слабые стороны курса.

Кроме того, стоит рассмотреть вовлеченность студентов. Активное участие в обсуждениях, выполнение заданий и взаимодействие с преподавателем могут служить индикаторами заинтересованности и мотивации учащихся.

Не менее важным аспектом является анализ долгосрочных результатов. Оценка того, как полученные знания и навыки применяются в реальной жизни, также даст представление об эффективности курса.

Наконец, стоит учитывать и технические аспекты, такие как стабильность работы платформы, доступность материалов и качество видеоуроков. Все эти элементы в совокупности помогают создать полную картину о результативности онлайн-обучения.

Максим Скрябин, директор по образованию в «ПостНаука.Academy», подчеркивает, что для людей, начинающих свой путь в новой профессии, крайне важно находиться в окружении единомышленников. Это утверждение поддерживает и Марина Литвинова, которая отмечает, что взаимодействие студентов во время обучения — будь то в малой группе или проектной команде — предоставляет опыт, недоступный при индивидуальных занятиях, и способствует развитию мягких навыков.

Михаил Свердлов подчеркнул значимость общения и поддержки со стороны наставников и сокурсников для студентов.

«Я с удовольствием наблюдаю за активностью в чатах нашего комьюнити на Slack и за работой Miro-досок, которые используют наши студенты, обучающиеся по программе буткемпа с моделью ISA. Это взаимодействие оказывает на них исключительно положительное влияние в плане мотивации. Дело в том, что они привыкли к формату обучения, где один преподаватель ведет множество студентов, воспринимая себя не как индивидуальности, а как часть класса или группы. Однако у нас наставники, подобно тем, что работают в EdMarket, обеспечивают каждому из них индивидуальное сопровождение и предоставляют персонализированную обратную связь. Работая в командах и наблюдая за успехами друг друга, студенты получают дополнительный стимул и мотивацию для дальнейшего развития.»

Ася Фурсова отметила, что в аналитическом обзоре OECD Learning Compass 2030 выделяются ключевые мировые тренды в сфере образования, такие как well-being, что подразумевает чувство безопасности и благополучия, а также sustainability — устойчивое развитие. Важность соответствия ценностей студентов и других участников образовательного процесса становится всё более значимой.

«Каким образом это может проявляться в сфере образования? Простой пример: если всем раздают пластиковые бутылки, то человек, у которого уже высокоразвито экологическое сознание, воспримет это как что-то неприятное и неправомерное. В то же время, если образовательный процесс сконструирован с акцентом на благополучие всех его участников, это сразу ощущается. Для студента это может стать важной метрикой, связанной с ценностями».

Методы оценки показателей образовательного процесса

Когда речь заходит о параметрах, играющих ключевую роль в образовательном процессе, возникает логичный вопрос: возможно ли их каким-либо образом оценить? Специалисты выделили несколько методов для осуществления этой задачи.

Для оценки формирования взаимодействий среди студентов можно использовать такие измеримые параметры, как скорость реакции на вопросы в чатах, количество участников дискуссий и соотношение полезных сообщений к общему числу студентов. Такого мнения придерживается Михаил Свердлов. Эксперт считает, что подобные показатели можно отслеживать на любой платформе, где осуществляется общение между учащимися.

Марина Литвинова отметила, что в учебном чате нередко формируются отдельные группы, такие как «Кто еще проходит курс по психологии?», «Есть ли среди нас ребята из Питера?» или «Есть новички?». По мнению спикера, такие маленькие сообщества также могут служить индикатором активности всего коллектива.

«Наблюдая за возникновением определенного чата, мы можем подсчитать, сколько таких групп образовалось на основе основного учебного чата. Затем, если у нас есть возможность войти в эти группы, чтобы не нарушить их атмосферу, мы сможем проанализировать, как формируются небольшие мастермайнд-группы, состоящие из 5–7 участников. Важно выяснить, как часто они проводят свои встречи, насколько активно они ведут обсуждения, сколько публикаций появляется ежедневно, открыты ли они для новых членов и наблюдается ли рост их небольшой общины.»

Максим Скрябин отметил, что метрикой активности студентов может служить не только их переписка в чатах, но и любые совместные действия. К примеру, это может проявляться в их способности самоорганизовываться и регулярно проводить онлайн-встречи через Zoom.

Он также отметил, что анализ метрик сообщества является частью социально-учебной аналитики — области, занимающейся изучением количественных аспектов взаимодействия между людьми, таких как плотность связей. Для оценки опыта отдельного студента можно применять иные социологические подходы, например, методы, связанные с анализом эго-сети, которая представляет собой набор социальных связей конкретного индивида.

Читайте также:

Научение через наблюдение представляет собой процесс, при котором индивид приобретает новые знания или навыки, наблюдая за действиями других. Это форма обучения, основанная на восприятии и подражании, позволяющая людям осваивать поведение, не проходя через прямые практические испытания. Такой подход особенно актуален в контексте социальных взаимодействий, где взаимодействие с окружающими играет ключевую роль.

Обучение рассматривается как социальный процесс, поскольку оно происходит в контексте взаимодействия между людьми. Социальные аспекты влияют на то, каким образом и что именно мы усваиваем, так как наше окружение, культурные нормы и взаимодействия с другими формируют нашу познавательную деятельность. Таким образом, обучение не является изолированным событием, а тесно связано с обществом и культурой, в которой мы находимся.

Хотя метрики социальных взаимодействий в целом довольно ясны, возникает вопрос о том, каким образом можно оценить личные переживания студентов, особенно в контексте их ценностей, уровня комфорта и других индивидуальных факторов.

Марина Литвинова подчеркивает, что результаты обучения и сопутствующие изменения в личности могут оказаться неожиданными.

«Это событие происходит внезапно для самого человека: он приходит учиться и неожиданно начинает пересматривать свои жизненные приоритеты, осознавая, что у него появились другие увлечения. Он начинает больше ценить себя, может решиться на увольнение с работы или покинуть токсичные отношения, которые негативно влияют на его жизнь. Возможно, он находит в себе смелость и идет на собеседование. Такие изменения, касающиеся личностного роста, могут оказать положительное влияние не только на его собственную жизнь, но и на жизни людей вокруг него, включая семью.»

Читайте также:

Обучение как средство трансформации: что представляет собой преобразующее обучение для взрослых.

Безусловно, количественная оценка таких изменений представляет собой сложную задачу. Однако, как утверждает Марина, подобные трансформации в личности могут находить свое отражение в ответах учащихся на вопросы вроде «Рекомендовали бы вы нас?» и «Как вам понравилось обучение?». Именно эти ответы служат основой для ключевых показателей CSI и NPS.

Чтобы отслеживать и воздействовать на эти параметры, EdMarket применяет методы обратной связи и рефлексии. В частности, через несколько недель после начала учебного процесса студенты получают запрос на заполнение анкеты, посвящённой их мотивации. Вопросы в этой анкете направлены на выяснение уровня удовлетворенности учащихся от занятий, факторов, способствующих или препятствующих обучению, стратегий самоподдержки в учебе и возможностей, которые может предложить служба сопровождения.

По окончании каждого модуля студентам предоставляется возможность задуматься над тем, за что они могут себя отметить похвалой. Заключительный рефлексивный этап проводится во время защиты дипломных работ. В этот момент выпускников просят поделиться своими мыслями о том, что они ощущали в начале обучения, какие изменения произошли с тех пор и какие планы у них на будущее.

Максим Скрябин подтвердил свою точку зрения о значимости рефлексии, опираясь на научные исследования. Он отметил, что данные показывают, что учащиеся, использующие рефлексивные подходы в учебном процессе, показывают лучшие результаты на тестах по сравнению с теми, кто не применяет такие методики.

Читайте также:

Каким образом можно улучшить курс, который уже находится в процессе реализации?

Почему важно для компаний отслеживать и улучшать показатели образовательного опыта

Создание сообщества, трансформация личности студента и его удовлетворённость получаемой поддержкой в процессе обучения — все это, безусловно, важно. Однако возникает вопрос: обладают ли эти аспекты практической ценностью для бизнеса? Почему EdTech-компаниям стоит заниматься оценкой этих показателей и стремиться к их улучшению?

На практике, как продемонстрировали мнения специалистов, существует тесная взаимосвязь между показателями образовательного процесса и результатами обучения. Михаил Свердлов привел пример из опыта компании Skyeng, который иллюстрирует, что уровень комфорта студентов оказывает непосредственное воздействие как на их учебные достижения, так и на финансовые результаты компании.

Компания обнаружила, что студенты, находящиеся на начальном уровне изучения английского языка, прекращают обучение значительно быстрее, чем их более опытные сверстники. В среднем новички проходили лишь 15 уроков, в то время как более продвинутые ученики обучались от 28 до 50 занятий. Чтобы понять причины такого явления, Skyeng провела опрос среди студентов и выяснила, что они испытывали трудности и дискомфорт в процессе обучения из-за высоких ожиданий со стороны преподавателей. Таким образом, личные переживания студентов нашли отражение в конкретных бизнес-метриках.

В итоге компания создала новую программу, пересмотрев подход к обучению. Качество образования не ухудшилось, а количество студентов, покидающих учебное заведение, снизилось: всего через несколько месяцев после старта обновленного курса, среднее число занятий у новых студентов возросло до 23.

Марина Литвинова рассказала о схожем опыте. После первой волны пандемии COVID-19 и введения ограничительных мер на курсы EdMarket пришло множество людей, которые были далеки от технологий. Даже использование онлайн-редакторов представляло для них определённые трудности.

«»Google Документы» стали первой серьезной преградой. У многих возникли сложности с выполнением первого домашнего задания. Особенно это касалось взрослых людей, таких как учителя, которым за 40 или 50, поскольку им трудно психологически просить о помощи. Мы вложили значительные усилия в разработку инструкций для службы поддержки и дополнительных материалов для вводного урока, чтобы облегчить пользователям старт и помочь им освоить платформу. Хотя это казалось чисто техническим вопросом, многие испытывали страх даже при необходимости задать вопросы. Создание определенной атмосферы, где не было стыдно спрашивать и опасаться ошибок, было крайне важным, ведь все понимали, что именно через ошибки происходит обучение.»

Служба поддержки студентов разработала подходы для работы с теми, кто не обладает основными цифровыми навыками. Кроме того, в начале каждого учебного курса учащимся предоставляется возможность освоить базовые принципы цифровой грамотности. Это привело к снижению числа студентов, которые покидают обучение из-за трудностей на старте, страха задавать вопросы и сомнений в собственных силах. Как считает Марина, разрешить подобные проблемы можно лишь через личное взаимодействие и проявление эмпатии.

Идеальный образовательный опыт в условиях современного мира

Прошло почти два года с тех пор, как мир столкнулся с пандемией COVID-19, и в нашей жизни появились ограничения, порождающие атмосферу неопределённости и беспокойства. Как эти условия влияют на образовательный процесс студентов дополнительного профессионального образования, и какие меры может предпринять компания для его улучшения?

Марина Литвинова справедливо отметила, что даже до начала пандемии у студентов могли возникать личные обстоятельства, мешающие их учебе, такие как высокая рабочая нагрузка, проблемы со здоровьем или неожиданные ситуации. Однако такие случаи были скорее исключением. В настоящее время же учащиеся сталкиваются с более частыми заболеваниями, постковидными последствиями и состоянием психологического истощения, но при этом сохраняют желание продолжать обучение, несмотря на трудные условия. По мнению эксперта, это создает серьезные вызовы для службы поддержки EdMarket: необходимо адаптировать учебный план, разработать способы интеграции учебного процесса в жизнь студента или обсудить возможные сроки его возвращения к занятиям.

Марина отметила, что подобные вопросы решаются в индивидуальном порядке, часто через личные встречи, поскольку в переписке человеку порой сложно точно изложить суть проблемы. Кураторы из службы заботы обмениваются с коллегами примерами и методами работы в различных ситуациях, однако универсальных правил для таких случаев в компании не существует — слишком много деталей и нюансов.

Специалист подчеркнула, что работникам необходима поддержка в условиях высокой информационной и психологической нагрузки. В этой связи в компании организуются встречи с психологом. В настоящее время EdMarket изучает возможность предоставления аналогичной помощи и студентам, которые столкнулись с трудными обстоятельствами.

Максим Скрябин отметил, что в настоящее время наблюдается значительный рост интереса к психологической поддержке. Он также упомянул, что в числе наиболее популярных курсов на платформе Coursera в 2020 году оказался курс с названием The Science of Wellbeing — «Наука о благополучии». Максим подчеркнул, что это стремление к осознанности и саморегуляции оказывает влияние на разработку образовательных программ.

«Обсуждая формирование образовательной среды, важно стремиться к созданию максимально уютного и безопасного пространства, где люди могли бы свободно ошибаться, ощущая поддержку. Ведь в последние годы, особенно после пандемии, некоторые аспекты могут восприниматься гораздо более остро.»

Специалисты единодушны в том, что поддерживающие функции в сфере образования — такие как тьюторы, менторы и кураторы — становятся всё более значимыми. Успешное функционирование служб, занимающихся сопровождением и поддержкой, напрямую влияет на бизнес-результаты. Хотя объективные показатели могут выявить недочёты в образовательном процессе, только через личное доверительное общение можно более глубоко понять причины этих проблем и выработать эффективные решения.

Читайте также:

• Цифровые курсы, посвященные концепции благополучия, в действительности способны существенно способствовать улучшению психоэмоционального состояния.
• Способы побуждения взрослых к обучению могут значительно различаться от методов, используемых для детей. Для успешной мотивации необходимо учитывать их жизненный опыт, потребности и цели. Важно создать такие условия, которые позволят им осознать ценность знаний и навыков.

  Во-первых, необходимо установить четкие цели и задачи. Взрослые стремятся понимать, зачем они учатся, и как полученные знания будут применяться в их жизни или карьере. Поэтому важно делать акцент на практическом применении изучаемого материала.

  Во-вторых, следует учитывать индивидуальные интересы. Обучение будет более эффективным, если оно будет связано с личными увлечениями и профессиональными амбициями. Таким образом, можно выбрать темы, которые действительно заинтересуют учащихся, а не будут навязаны извне.

  Третьим важным аспектом является создание комфортной и поддерживающей атмосферы. Взрослые часто испытывают страх перед неудачами или осуждением, поэтому важно обеспечить среду, где они могут свободно обмениваться мнениями и задавать вопросы.

  Кроме того, стоит использовать различные форматы обучения. Смешанные методы, такие как онлайн-курсы, семинары и групповые занятия, могут сделать процесс более разнообразным и увлекательным. Важно также поощрять самостоятелность и инициативу, позволяя учащимся самостоятельно выбирать темпы и подходы к обучению.

  Наконец, регулярная обратная связь и поддержка со стороны преподавателей и коллег могут сыграть ключевую роль в повышении мотивации. Признание успехов и достижений стимулирует желание двигаться дальше и преодолевать новые преграды.

• Пять методов увеличения уровня завершения онлайн-курсов.
• Выдержки месяца, касающиеся уровня образования и мастерства педагогов.
• Сможет ли высшее образование уступить место профессиональным курсам?