EdTech: новые методы оценки качества онлайн-курсов
На конференции YaC/e эксперты обсудили суть качественного дополнительного образования, затронув при этом и философские аспекты этой темы.
Содержание:
Обучение с гарантией трудоустройства: «Методист: от новичка до эксперта»
Узнать большеКачество дополнительного онлайн-образования давно стало предметом активных обсуждений. Все началось с дебатов о показателях качества, организованных EdTech-хабом «Сколково», университетом Skypro, исследовательским агентством Smart Ranking и аналитической фирмой EdYes. В результате конференции и воркшопа участники определили 12 ключевых критериев, которые характеризуют качество EdTech-обучения.
12 метрик, которые можно обсудить для оценки качества онлайн-образования:
- реферальный потенциал, желание рекомендовать данный курс;
- анализ степени удовлетворенности различными компонентами образовательного процесса;
- коэффициент трансформации / уровень успеха ― смог ли выпускник достичь поставленных образовательных целей;
- COR, показатель удержания аудитории, и уровень доходимости.
- степень доверия работодателя к определенному учебному заведению или курсу;
- возврат инвестиций для студента (как быстро он сможет оправдать затраты на свое образование);
- значимость содержания курса;
- сотрудничество учебных заведений с работодателями и процесс трудоустройства;
- изменение уровня дохода студентов со временем;
- доля посещений в текущий момент;
- существование у программы безопасной среды и устойчивость в аспекте взаимодействия;
- присутствие благоприятной атмосферы, включение в круг специалистов и выпускников.
School of Education рассмотрела данную тему с нового ракурса и привлекла специалистов для обсуждения дополнительных аспектов, которые не связаны напрямую с учебной программой. В центре внимания оказались такие элементы, как изменения в личности студентов и их ощущение комфорта, создание активного сообщества и прочие факторы. Все эти элементы в совокупности формируют качество образовательного опыта.
На конференции «Яндекса», известной как Yet another Conference on Education (YaC/e), также обсуждались темы, касающиеся уровня онлайн-образования. Каковы ключевые аспекты, которые следует учитывать при оценке качества обучения в области EdTech, особенно в контексте дополнительного профессионального образования? В каких направлениях следует двигаться компаниям в сфере EdTech для достижения успеха?
В рамках обсуждения, проведенного под руководством Дарьи Рыжковой, основательницы агентства Smart Ranking, свою экспертизу представили управляющий партнер компании Skyeng Александр Ларьяновский и основатель Skillbox Дмитрий Крутов. Запись этого мероприятия можно найти на YouTube, а мы предлагаем вам основные моменты, озвученные экспертами.
Методы оценки эффективности образовательных онлайн-программ
Александр Ларьяновский отмечает, что рынок онлайн-образования достиг такой стадии, когда можно говорить о реальном качестве EdTech-продуктов — это свидетельствует о том, что начальная «пена» ушла. В этом контексте эксперт выделяет два ключевых параметра. Первым из них является степень совпадения ожиданий студентов с итогами их обучения. При этом важно, чтобы эти ожидания основывались на осознанных представлениях о желаемых результатах, сформированных предыдущим образовательным опытом. «Условно говоря, мы приходим в кофейню и, возможно, сами не умеем варить кофе, но можем оценить, что хотели и что получили, насколько одно с другим совпадает» , — поясняет он.
Александр выделяет как второй ключевой аспект качества проекта долю академических издержек в его экономике. Это означает, что настоящий качественный продукт должен характеризоваться тем, что в условиях одинаковых параметров основная часть расходов направляется на создание контента, а также на вознаграждение квалифицированных преподавателей и методистов, в отличие от трат на маркетинг и оформление.
Дмитрий Крутов выразил сомнение относительно того, что рынок EdTech достиг стадии, когда проблема качества онлайн-образования стала критически важной.
«Мне кажется, что мы все еще находимся в эпохе, когда рынок переполнен контентом, и процесс его цифровизации продлится еще около пяти лет. Мы будем переводить в цифровой формат огромное количество материалов, некоторые из которых окажутся качественными, а другие — нет. Примерно через три-пять лет начнется серьезное обсуждение вопросов качества. <…> Появится больше компаний, а рынок станет более разнообразным и многогранным».
Тем не менее, как отмечает Дмитрий, уже сейчас можно выделить важную черту оценки качества в сфере EdTech — она ориентирована на сам продукт, а не на потребности и ожидания учащихся. Существующие метрики в основном позволяют оценить работу продюсеров или методистов, но не дают информации о том, насколько курс удовлетворил запросы людей, прошедших обучение. Руководитель Skillbox считает, что отрасли EdTech следует стремиться к разработке метрик, ориентированных на клиента. Однако здесь возникает вопрос: каким образом можно определить соответствие курса ожиданиям студентов, если лишь небольшая часть из них делает осознанный выбор образовательного продукта?
«В основном когда мы берем наши стандартные метрики NPS, CSAT, COR и так далее <…> — если коротко, то все эти метрики — про то, насколько мы хорошие. И мне кажется, что сейчас очень важно выявить клиентоцентричные метрики, которые позволяют правильно идентифицировать: а человек хорошо сформировал свое ожидание?
<…> Если честно, NPS, CSAT, COR — это все про то, что методист молодец, продюсер молодец, сняли хороший контент, хорошая раскадровка, очень крутая студия, классное дорогое оборудование… Но все-таки мне кажется, что мы на пути к тому, чтобы про другие метрики — метрики слушателей, метрики студентов — сейчас начать разговаривать».
Для кого и в каких обстоятельствах EdTech способен обеспечить наибольшую эффективность?
У человека, намеревающегося начать обучение, часто могут быть весьма неопределенные представления о его сути и о том, какую пользу оно может ему принести.
Дмитрий Крутов подчеркивает, что возможность внимательно изучить и попробовать различные варианты обучения играет ключевую роль в формировании адекватных ожиданий. Он привел распространенный пример, когда человек записывается на курс по программированию на Python, стремясь сменить профессию на более высокооплачиваемую, и лишь в процессе обучения осознает, что на самом деле ему было бы гораздо интереснее стать дизайнером интерьеров. В таких случаях Skillbox предлагает возможность смены учебной программы, а также проводит открытые вебинары, на которых рассматриваются разные профессии и курсы для профессиональной ориентации.
Александр Ларьяновский, хотя и признает необходимость в помощи клиентам в формировании их ожиданий, подчеркивает наличие еще одного значимого элемента. Он указывает на то, что индустрия EdTech способна эффективно взаимодействовать только с той аудиторией, которая проявляет мотивацию, однако ее количество остается крайне ограниченным. «Количество людей, интересующихся саморазвитием и имеющих время и средства для обучения, <…> невелико».
Большинство взрослых трудятся на пределе своих сил, стремясь заработать медианную зарплату. По словам Александра, все они прошли школьное образование, многие из них продолжили обучение в вузах, однако в их восприятии знания, полученные в образовательных учреждениях, не приносят значительной пользы. Тем не менее, по мнению эксперта, для этих людей получение профессиональных навыков может стать шансом на развитие и улучшение уровня жизни.
« Когда мы говорим про качество, надо говорить не про тех высокомотивированных людей, с которыми нам приятно разговаривать, с которыми нам легко, которым можно выбирать программы, которым мы можем разумно объяснять, почему именно надо выбирать эту специальность, а спуститься туда и там научиться с людьми разговаривать на их языке и добиваться там результатов».
Александр более детально изложил свою мысль, что компаниям в сфере EdTech следует научиться привлекать более широкую аудиторию и находить способы взаимодействия с ней, вместо того чтобы сосредотачиваться исключительно на ресурсных и мотивированных пользователях, в своем посте на Facebook. Основная идея его рассуждений заключается в том, что в долгосрочной перспективе успех будут иметь те представители EdTech, которые смогут оценивать свои достижения не только по увеличению доходов, но и по реальному числу обученных людей, которые смогли добиться значительных изменений в своей жизни благодаря полученным знаниям.
Выпускники: как их трудоустройство отражает уровень образования?
Дмитрий Крутов подчеркивает, что в вопросах дополнительного образования и последующего трудоустройства помимо профессиональных навыков также важным аспектом является способность человека адаптироваться к атмосфере и культуре как самой профессии, так и конкретного предприятия.
«Одна задача — это просто соответствовать хард-скиллам, некоторым базовым требованиям к тому, что должен уметь человек. А другая часть — в некотором смысле культурологическая. Ведь очень важно еще померить, помимо софт-скиллов, какой он [человек]. С точки зрения уровня культуры он попадет в „Яндекс“, в Skyeng, в Skillbox и так далее или не попадет? И как на эту часть мы влияем».
Дмитрий подчеркнул значимость формирования образовательной среды, которая помогает студентам погрузиться в тот контекст, в котором они будут работать в будущем.
«Всем очень нравится разделять на онлайн и офлайн. Но мне кажется, что ни мы, ни коллеги не занимаемся онлайн-образованием, мы занимаемся смешанными форматами обучения, в которых наша задача — выстраивать ту самую образовательную среду за счет конференций, митапов, воркшопов, семинаров, личной проверки домашних заданий, дипломных проектов, стажировок и так далее».
Во время конференции один из участников поднял интересный вопрос в прямом эфире: «Почему работодатели часто с недоверием относятся к кандидатам с дипломами онлайн-курсов?» Это спровоцировало оживленную дискуссию. В ответ на это Дмитрий Крутов указал на то, что только Skillbox помог трудоустроить несколько десятков тысяч своих выпускников, среди которых были представители известных компаний. Это ставит под сомнение утверждение о недоверии со стороны работодателей. Более того, работодатели всегда имеют возможность запросить у выпускников их финальные проекты, выполненные в ходе обучения, чтобы удостовериться в качестве полученных знаний.
Александр Ларьяновский, отвечая на аналогичный вопрос, акцентировал внимание на двух ключевых моментах. Во-первых, он отметил, что репутация формальной системы профессионального образования, включая вузы, оставляет желать лучшего, особенно если речь идет о учреждениях, находящихся вне списка лучших. Во-вторых, он подчеркнул существующий стереотип о том, что основным работодателем в стране является государство. Действительно, устроиться на работу в государственные учреждения или компании без высшего образования, а именно диплома университета, очень сложно — дипломы курсов в этом контексте не рассматриваются.
Александр также отметил, что обучение привлекает людей не только с целью нахождения работы. Он подчеркнул, что образование может вызывать выбросы дофамина и серотонина, что, проще говоря, приносит радость от достижения результата собственными силами. Хотя сложно определить, как именно измерять эти гормоны, тем не менее удовольствие от процесса также заслуживает внимания. Если человек стал хотя бы немного счастливее, значит, затраченные усилия определенно не были напрасными.
Следует ли в сфере EdTech применять жесткий отбор студентов, как в университетах?
В ходе обсуждения на тему разделения между высшими учебными заведениями и EdTech модератор Дарья Рыжкова выразила мысль, что действительно качественное образование, возможно, не может быть доступным для всех без исключений. В качестве примера она привела слова ректора одного из частных университетов: «У нас очень строгий процесс отбора, обучение дается тяжело, а дипломная работа является настоящим испытанием. В результате остается совсем немного студентов, но я уверен, что они становятся высококвалифицированными специалистами, обладающими всеми необходимыми знаниями».
Александр Ларьяновский прокомментировал данную ситуацию, указав на то, что отбор студентов не является благом, а скорее свидетельствует о проблемах в университетах, которые не способны к масштабированию. Он также отметил, что учебные заведения взаимодействуют с целеустремленными людьми, однако на самом деле образование как средство для изменения жизни необходимо совсем другим категориям.
«Конечно, тому, кто пробился наверх, легко и приятно помогать. Конечно, среди них можно легко устраивать все эти отборы, как профессиональный спорт отбирает спортсменов. Но давайте все-таки попробуем сделать так, чтобы все были чуть-чуть здоровее».
Дмитрий Крутов отметил, что многие выпускники вузов после окончания обучения начинают переучиваться в сфере EdTech. Он считает, что противостоять этому явлению нецелесообразно. Вместо этого стоит сосредоточиться на создании партнерств между университетами и EdTech-компаниями, где каждая из сторон могла бы решать свои задачи.
