EdTech #Статьи

3 июля, 2025

Как измерять качество обучения на курсах: подход «Нетологии» / Skillbox Media

На конференции, организованной компанией, рассказали, как провели исследование и разработали свою систему оценки качества.

Содержание:

Как в «Нетологии» исследовали представления о качестве
Как работает новая система контроля качества в «Нетологии»
Что не так с метрикой COR?

Рынок онлайн-образования активно ищет универсальные методы оценки качества курсов, которые будут служить ориентиром как для образовательных компаний, так и для клиентов онлайн-школ. В начале апреля на Московском международном салоне образования (ММСО) был анонсирован крупный совместный проект Института образования НИУ ВШЭ и команды Skillbox, направленный на разработку новой модели оценки качества онлайн-образования. В рамках этого проекта участники представили результаты исследовательского этапа, который включал анализ и обобщение существующих в мировой практике моделей оценки качества образовательных технологий и продуктов. Это важное начинание призвано улучшить стандарты онлайн-обучения и обеспечить более высокую степень доверия со стороны пользователей.

Актуальность работы в сфере онлайн-обучения нельзя недооценивать, поскольку на сегодняшний день отсутствует единое общепринятое определение качества в этой области. Понятие качества охватывает широкий спектр аспектов, и каждая компания на рынке EdTech оценивает свои курсы по уникальным критериям. Это разнообразие подходов к оценке качества создает сложную ситуацию для пользователей, которые ищут надежные и эффективные образовательные ресурсы. Поэтому важно разработать универсальные стандарты, которые помогут улучшить качество онлайн-обучения и сделать его доступным для всех.

В рамках одной компании различные подразделения могут по-разному интерпретировать понятие «качественный образовательный продукт». Студенты также имеют свои собственные представления о качественном онлайн-обучении, что влияет на их оценку курсов. Важно ли создать единую систему, которая объединит эти различные подходы и позволит объективно измерять качество образовательного процесса?

Мария Ракульцева, методолог образовательного продукта команды стратегии и результата «Нетологии», поделилась подходом к решению актуальной проблемы на конференции «Качественный EdTech: проектируем опыт студента», организованной School of Education, Otus и «Нетологией». В своем выступлении спикер выделила ключевые моменты, касающиеся разработки эффективных образовательных решений, направленных на улучшение опыта студентов. Основное внимание было уделено практическим методам и стратегиям, которые помогают повысить качество онлайн-обучения и адаптировать его под потребности учащихся.

Как в «Нетологии» исследовали представления о качестве

Мария поделилась, что полгода назад стала частью команды «Нетология». В то время в компании отсутствовал унифицированный процесс контроля качества продукта и система принятия продуктовых решений, основанная на данных.

В ассортименте онлайн-школы представлено множество курсов, которые различаются по формату, тематике, продолжительности, уровню подготовки и целям студентов. Команды, работающие в разных направлениях, по-своему оценивают и интерпретируют качество образовательного продукта. Поэтому, как подчеркнула Мария, важно создать универсальную рамку для оценки, учитывая при этом уникальные особенности отдельных курсов. Это позволит обеспечить высокие стандарты обучения и удовлетворить потребности студентов.

Мария и её команда инициировали исследования для синхронизации представлений о качестве онлайн-курсов внутри компании и их соответствия ожиданиям целевой аудитории — студентов. В рамках этой работы были проведены два исследования: внутреннее, ориентированное на мнение сотрудников, и внешнее, направленное на анализ взглядов студентов. Это позволило глубже понять, что именно студенты считают качественным в онлайн-образовании и какие аспекты необходимо улучшить. Результаты исследований помогут компании оптимизировать курсы, повысить их привлекательность для студентов и улучшить общий уровень качества образовательных услуг.

Фото: fizkes / Shutterstock

Внутреннее исследование включало 22 глубинных интервью с руководителями и сотрудниками компании. В опросах принимали участие продюсеры, продакт-менеджеры, методисты, менеджеры по работе с экспертами, а также члены команды поддержки и сопровождения. Это исследование позволило получить ценную информацию о внутренней структуре и процессах компании, что способствует улучшению рабочих взаимодействий и повышению общей эффективности.

Внешнее исследование состояло из двух этапов. На первом этапе команда Марии провела 13 глубинных интервью со студентами. В выборку вошли как студенты, положительно оценивающие обучение в «Нетологии», так и те, кто решил вернуть курс, а также студенты других онлайн-школ. Это разнообразие мнений позволяет получить полное представление о качествах образовательных программ и удовлетворенности студентов.

На втором этапе исследования Мария и ее коллеги провели опрос среди 1019 студентов онлайн-школы «Нетология». Участниками опроса стали те, кто обучается в школе не менее одного месяца или завершил обучение не более полугода назад.

Согласно проведенным исследованиям, сотрудники компании считают, что качественный образовательный продукт должен соответствовать определенным критериям. Важно, чтобы он был актуальным, доступным и практичным, обеспечивая возможность применения полученных знаний на практике. Учебные материалы должны быть структурированными и легко усваиваемыми, а также предоставлять разнообразные форматы обучения, включая интерактивные элементы. Кроме того, продукт должен учитывать индивидуальные потребности обучающихся и предоставлять поддержку в процессе обучения. Эти аспекты играют ключевую роль в создании эффективного образовательного опыта и повышении профессиональных навыков сотрудников.

он приводит студента к цели;
отвечает запросу рынка;
отвечает ожиданиям студентов и имеет хорошую обратную связь;
решает образовательные задачи;
содержит грамотные материалы;
на курсе присутствуют хорошие эксперты;
заявленный в позиционировании курса результат соответствует действительности.

Результаты интервью и опроса студентов продемонстрировали, что для успешного курса ключевыми факторами являются: качество материалов, доступность преподавателей, интерактивные методы обучения и возможность получения обратной связи. Студенты отметили, что важным аспектом является также актуальность информации и её соответствие современным требованиям. Уделение внимания этим аспектам значительно повышает эффективность обучения и удовлетворенность студентов курсом.

актуальность содержания;
хороший преподаватель;
развёрнутая обратная связь в процессе обучения;
доступное изложение материала;
много практики и работа над реальными проектами;
оптимальные темп и формат обучения;
хорошее сопровождение.

Студентов также спросили о степени выраженности различных факторов в курсах «Нетологии». Мария отметила, что полученные данные стали полезным инструментом для выявления сильных сторон продукта, а также областей, требующих дальнейшего улучшения.

Узнайте больше:

Методисту перед проектированием курса необходимо провести несколько ключевых исследований, чтобы обеспечить успешное обучение. Прежде всего, важно определить целевую аудиторию. Это поможет понять, какие знания и навыки необходимы ученикам, а также их уровень подготовки. Необходимо также изучить потребности и интересы обучаемых, чтобы курс был максимально актуален и полезен.

Следующим шагом является анализ существующих образовательных ресурсов и курсов. Это позволит выявить лучшие практики и избежать дублирования материалов. Методист может провести сравнительный анализ, чтобы определить сильные и слабые стороны конкурирующих курсов.

Также стоит обратить внимание на тенденции в области образования и технологий. Изучение новейших методик и подходов в обучении поможет внедрить инновации в проектируемый курс.

Не менее важным является исследование форматов обучения. Методист должен определить, какие методы и средства обучения будут наиболее эффективны для целевой аудитории. Это может включать в себя как традиционные, так и современные подходы, такие как смешанное обучение или онлайн-курсы.

Проведение опросов или фокус-групп среди потенциальных слушателей даст ценную информацию о предпочтениях и ожиданиях. Полученные данные помогут сделать курс более адаптированным к нуждам обучаемых.

Итак, для успешного проектирования курса методисту необходимо провести исследования целевой аудитории, анализ существующих ресурсов, изучение образовательных тенденций и предпочтений форматов обучения. Эти шаги помогут создать актуальный и эффективный образовательный продукт.

Мария и её коллеги провели сопоставление факторов, выявленных в результате внутренних и внешних исследований, чтобы создать полное представление о качестве образовательного курса. Они также соотнесли каждый ключевой фактор с измеримым показателем. По словам спикера, для некоторых факторов можно использовать очевидные метрики, такие как индекс удовлетворенности клиентов (CSI), который помогает оценить удовлетворенность студентов различными аспектами обучения — от взаимодействия с преподавателями до скорости проверки домашних заданий. Однако для других факторов, например, оценки актуальности контента, подобрать подходящую метрику оказалось сложнее, так как специальной метрики для этого не существовало.

В «Нетологии» был проведен пересмотр всех ранее фиксировавшихся метрик качества, с целью оценки их валидности и репрезентативности. Команда Марии выделила наиболее значимые метрики, на которые можно полагаться. Эти метрики были интегрированы на универсальную SJM — карту пути студента. На данной карте четко показано, на каком этапе взаимодействия студента с курсом осуществляется измерение каждой метрики и какие выводы можно сделать на основе полученной информации. Это позволяет улучшить качество образовательных процессов и повысить эффективность обучения.

Мария и её команда провели анализ показателей, на которые обращают внимание российские и зарубежные EdTech-рынки. Они исследовали актуальные тренды в оценке качества образовательных продуктов, что позволяет лучше понять методы, используемые для анализа эффективности образовательных технологий и программ.

Результаты выполненной работы привели к разработке новой системы контроля качества, которая основана на иерархической матрице метрик. Эта система обеспечивает эффективный мониторинг и анализ качества, позволяя более точно оценивать производительность и выявлять области для улучшения. Использование иерархической матрицы метрик способствует структурированному подходу к контролю качества, что, в свою очередь, повышает точность и надежность получаемых данных.

Как работает новая система контроля качества в «Нетологии»

Новая система оценки акцентируется на качестве образовательного продукта и его связи с доходом. Как отметила Мария, качество и финансовая составляющая неразрывно связаны, так как именно качественный продукт способствует долговременному удержанию студентов. Это, в свою очередь, стимулирует их к повторным покупкам, например, после прохождения курса профессионального переобучения они могут заинтересоваться курсами для дальнейшего развития в своей профессии или актуализации навыков. Кроме того, качество курса оказывает значительное влияние на уровень реферальности, что отражает процент новых студентов, пришедших в школу по рекомендациям выпускников. Высокое качество образовательных программ не только увеличивает доход, но и создает устойчивую репутацию учебного заведения.

Разработанная матрица метрик представляет собой древовидную структуру с горизонтальными уровнями и вертикальными ветвями. Главной целевой метрикой является доход (revenue), на который влияют метрики первого уровня — реферальность и повторные покупки. Эти метрики, в свою очередь, зависят от метрик второго уровня, к которым относятся:

процент возвратов по причине, когда студентов не устроило качество продукта;
NPS (англ. Net Promoter Score) продукта — показатель готовности студентов рекомендовать курсы другим людям;
общий CSI — индекс удовлетворённости студентов курсами школы;
retention rate — коэффициент удержания пользователей, который отражает вовлечённость студентов, их активность во взаимодействии с курсами;
достижение студентами поставленных целей в результате обучения.

Мария отметила, что данные метрики являются наиболее релевантными для текущих задач компании и точно отражают результаты проведенных исследований.

При переходе от одного уровня к другому показатели становятся более детализированными. Начинается с общих данных по школе и постепенно углубляется до отдельных направлений, наборов курсов, конкретных курсов, занятий, модулей и единиц контента. Ответственные сотрудники контролируют показатели на каждом уровне. На первом уровне это продакт-менеджеры, на втором — образовательные продакт-менеджеры и тимлиды, на третьем и последующих уровнях — педагогические дизайнеры, менеджеры по работе с экспертами и координаторы. Такой подход позволяет обеспечивать высокое качество образования и оперативно реагировать на изменения в учебном процессе.

Существует взаимосвязь между различными группами метрик, которые организованы на отдельных ветвях. Например, индекс удовлетворенности клиентов (CSI) подразделяется на более детализированные показатели, касающиеся работы экспертов, качества контента и уровня сопровождения. На последующих уровнях детализация возрастает, что позволяет получить CSI для отдельных модулей и единиц контента. Это структурирование метрик помогает глубже анализировать и улучшать каждую составляющую, что в конечном итоге влияет на общее качество предоставляемых услуг.

Изображение: слайд из презентации Марии Ракульцевой / «Нетология»

В «Нетологии» были разработаны основные принципы работы с системой и принятия продуктовых решений. Эти принципы помогают оптимизировать процессы, улучшить взаимодействие с пользователями и повысить эффективность разработки продуктов. Следуя этим рекомендациям, команда обеспечивает высокое качество услуг и удовлетворение потребностей клиентов.

Работа над улучшением качества может происходить и сверху вниз, и снизу вверх. Например, если какой-либо показатель на верхних уровнях просел либо неожиданно вырос, можно спуститься по соответствующей «ветке» и выяснить причину. А также — отслеживать, как изменения на нижних уровнях системы влияют на показатели выше.
Каждый сотрудник, отвечающий за качество продукта на том или ином уровне, принимает решения с опорой на соответствующие показатели, связки метрик и их динамику, и действует в рамках своей зоны ответственности.
При принятии решений учитывается соответствующий уровень и «ветка» — то есть, опять же, для решения проблемы нужно видеть её место в общей структуре и принимать во внимание, что влияет на показатели того или иного уровня.

В настоящее время в «Нетологии» активно исследуют эффективность новой системы. Спикер подчеркивает важность увеличения скорости принятия решений и влияния этих изменений на качество образовательных продуктов. В 2024 году команда онлайн-школы намеревается научиться предсказывать поведение ключевых метрик. Это означает, что при изменении одной метрики, например, ее повышении или понижении, они хотят понять, как это отразится на других показателях. Также в рамках третьей части исследования рассматриваются представления о качестве курсов с точки зрения работодателей. Спикер отметила, что важно взглянуть на студента не только как на потребителя образовательного продукта, но и как на «продукт», который школа выводит на рынок труда. Это позволит лучше адаптировать курсы к требованиям работодателей и повысить конкурентоспособность выпускников.

Что не так с метрикой COR?

Владельцы онлайн-школ, знакомые с основными метриками, заметили отсутствие популярной метрики COR (Completion Rate) в модели, предложенной Марией Ракульцевой. Эта метрика отражает процент студентов, завершивших обучение. В ходе другой дискуссии на конференции «Проектирование reskill vs проектирование upskill» была поднята тема использования COR в «Нетологии». Арина Пантина, образовательный продакт-менеджер направления «Креативные индустрии» в «Нетологии», высказала свое мнение по этому вопросу. Обсуждение метрик, таких как COR, важно для оптимизации образовательных процессов и повышения качества обучения в онлайн-формате.

Арина отметила, что в «Нетологии» показатель COR используется в качестве вспомогательного инструмента для анализа изменений других метрик. Она подчеркнула, что у этой метрики есть несколько значительных ограничений. Во-первых, отсутствует единая методика расчета доходимости, что приводит к возможности манипуляций с результатами. Арина также упомянула, что ей известны несколько «относительно честных» методов, позволяющих искусственно повысить COR до 100%. Это подчеркивает важность тщательного и критического подхода к интерпретации данных, чтобы избежать искажений в анализе и принятии решений.

Для некоторых типов курсов стремление к максимальной доходимости не всегда оправдано. Это особенно касается длительных курсов профессионального переобучения, на которые студенты записываются с целью освоить новую профессию и устроиться на работу или начать фриланс. Часто студенты прекращают обучение на середине курса, так как достигают своей цели ещё в процессе обучения. В таких случаях низкий коэффициент завершения (COR) не является релевантным показателем качества образовательного продукта, поскольку студенты остаются удовлетворенными — они получают желаемые знания и навыки. Подобную точку зрения озвучил управляющий директор Ultimate Education Никита Подлипский на семинаре Института образования НИУ ВШЭ, посвященном будущему EdTech.

Арина Пантина отметила важность измерения изменений, происходящих с студентами во время обучения и после завершения курса, особенно в контексте их карьерного роста. Однако, осуществить такую оценку бывает непросто, поскольку для достижения значительных результатов необходимы как время, так и усилия со стороны самих студентов. Это подчеркивает значимость индивидуального подхода к обучению и поддержки студентов в их стремлениях к профессиональному развитию.

Узнайте больше об образовании, подписавшись на наш телеграм-канал. Мы делимся актуальной информацией, полезными советами и интересными материалами. Не пропустите возможности расширить свои знания и оставаться в курсе образовательных новостей.

Оптимизированный текст для SEO: