Сильные и слабые стороны ChatGPT в разработке онлайн-курса / Skillbox Media

Содержание:

• Как проходило исследование
• Сильные стороны ChatGPT в разработке структуры курса
• Слабые стороны ChatGPT
• Так может ли ChatGPT быть полезен разработчикам курсов?

Как проходило исследование

Исследовательская группа провела подготовительную работу и собрала необходимые вводные данные.

• название будущего курса («Мейкерспейс как пространство для обучения»);
• его краткое и расширенное описание;
• целевую аудиторию;
• планируемые результаты обучения;
• продолжительность и формат курса.

На основе собранных данных был разработан первый промпт для ChatGPT: «С применением модели обратного дизайна и предоставленной информации создайте план четырехнедельного онлайн-курса для магистрантов. Включите ожидаемые результаты каждого модуля, методы оценки, практические занятия и задания для самостоятельной работы».

Исследователи также разработали шесть дополнительных промптов для углубления каждого компонента. Например, можно использовать запрос: «Сформулируйте вопросы для обсуждения на основе материалов модуля X» или «Создайте пять тестовых вопросов по материалам модуля X, включая два вопроса с множественным выбором, два вопроса формата „истина или ложь“ и один вопрос, требующий развернутого ответа в виде короткого эссе». Эти подходы помогают разнообразить учебный процесс и повышают вовлеченность студентов.

Каждый из четырёх участников исследовательской группы последовательно ввёл все семь промптов в ChatGPT и сохранил полученные результаты в документах. После этого был проведён SWOT-анализ, метод, который позволяет выявить как внешние, так и внутренние факторы, относящиеся к объекту анализа, а также оценить их влияние, будь то негативное или позитивное. Название метода происходит от английских категорий, по которым классифицируются факторы: сильные и слабые стороны, возможности и угрозы. Этот подход является эффективным инструментом для глубокого анализа и принятия обоснованных решений.

• Strengths — сильные стороны;

• Weaknesses — слабые стороны;

• Opportunities — возможности;

• Threats — угрозы.

Сильные стороны ChatGPT в разработке структуры курса

В результате проведенного анализа эксперты выделили несколько ключевых преимуществ ChatGPT. Эта модель демонстрирует высокую степень понимания и генерации текстов, что делает её полезной в различных сферах. Среди сильных сторон ChatGPT можно отметить способность к контекстуальному восприятию, что позволяет ей поддерживать осмысленные и последовательные беседы. Она также эффективна в создании оригинального контента, что способствует её применению в маркетинге и образовательных проектах. Кроме того, ChatGPT быстро адаптируется к разнообразным темам, обеспечивая актуальность и точность информации. Эти характеристики делают ChatGPT мощным инструментом для пользователей, стремящихся к получению качественных текстовых решений.

• Хорошо формулирует цели и планируемые результаты обучения. Определяя цели и результаты, разработчики курсов обычно избегают слов «знать» и «понимать» — они не отражают конкретные действия студентов, и такие результаты сложно измерить. Как оказалось, ChatGPT тоже придерживается этого подхода и применяет корректные формулировки: «использовать», «создавать» и так далее. Кроме того, по словам исследователей, нейросеть предлагает задания и критерии оценки, соответствующие поставленной учебной цели каждого модуля.

• Предлагает подходящие инструменты и материалы. По оценке исследователей, ChatGPT составил вполне качественный набор инструментов и материалов для использования в курсе — например, собрал источники, которые позволят студентам углубиться в тему образовательных мейкерспейсов и больше узнать о методиках проведения творческих занятий со школьниками.

• Формулирует вопросы для дискуссий, побуждающие мыслить критически. Авторы эксперимента отметили, что ChatGPT предлагает глубокие вопросы, которые стимулируют студентов размышлять об изученном и соединять новые знания со своим личным опытом. Более того, по словам исследователей, эти вопросы помогут и самим преподавателям критически оценить содержание курса и выделить самое важное для того или иного модуля.

• Умеет ссылаться на материалы из других модулей. Нейросеть, как рассказали исследователи, сама, без дополнительных уточнений в промптах, упоминает видеолекции и тексты из прошлых модулей, создавая инструкции к заданиям. А в вопросах для дискуссий нередко ссылается на практические работы студентов.

ChatGPT предоставляет проектировщикам курсов ряд возможностей, среди которых главное — снижение рабочей нагрузки специалистов. Нейросеть позволяет быстро сформировать структуру курса, включая согласованные учебные цели, задания и методы оценки. Кроме того, ChatGPT эффективно справляется с трудоемкой задачей поиска и подбора информации по заданной теме. Однако, как отмечают исследователи, возможны ошибки, поэтому важно вручную проверять релевантность и актуальность используемых источников. Использование ChatGPT в процессе проектирования курсов может значительно повысить эффективность работы и ускорить процесс создания качественного образовательного контента.

Когда педдизайнер передает некоторые задачи нейросети, у него появляется больше времени для разработки персонализированного обучения. Это позволяет ему внедрять методы скаффолдинга для различных видов учебной деятельности и более глубоко прорабатывать стратегии повышения вовлеченности студентов на протяжении всего курса. Использование нейросетей способствует оптимизации рабочего процесса, что дает возможность сосредоточиться на создании эффективных образовательных решений и улучшении учебного опыта.

Слабые стороны ChatGPT

Эксперимент выявил слабые стороны ChatGPT в области педагогического дизайна. Основные недостатки включают ограниченные возможности адаптации к индивидуальным потребностям учащихся, недостаточную глубину анализа сложных тем и отсутствие эмоционального интеллекта, что может затруднить взаимодействие с учениками. Также наблюдается недостаточная способность к критическому мышлению и генерации оригинальных идей, что важно для создания качественного образовательного контента. Эти аспекты могут негативно сказываться на эффективности использования ChatGPT в образовательных процессах.

• Нейросеть плохо «понимает» контекст. Так, с помощью ChatGPT исследователи разрабатывали структуру онлайн-курса для магистрантов, но ИИ не учёл эти условия, предлагая конкретные учебные мероприятия. По словам авторов, почти все активности подразумевали очное присутствие студентов в аудитории. Также ChatGPT плохо оценивает время, необходимое в реальности для выполнения того или иного задания. Например, ИИ выделяет студентам всего неделю на то, чтобы спроектировать творческое занятие, выбрать мейкерспейс и согласовать занятие с его менеджментом, набрать участников, провести занятие и оценить результаты — что, конечно, выполнить невозможно.

• Подобранные источники и материалы часто ненадёжны. Как известно, ChatGPT нередко галлюцинирует — ссылается на несуществующих авторов и рекомендует публикации, которых не найти ни в одной базе данных. В данном кейсе экспериментаторы тоже с этим столкнулись. По их мнению, это один из самых серьёзных недостатков нейросети.

• Инструкциям к заданиям не хватает конкретики. Качественные инструкции к заданиям должны быть конкретными и достаточно подробными, чтобы учащиеся без труда понимали, что именно им нужно сделать. И в этом возможности ChatGPT проявились не очень успешно — как отмечают исследователи, нейросеть склонна использовать расплывчатые формулировки и описывать задания самыми общими словами.

• Дискуссии строятся однообразно. Несмотря на то что ChatGPT, по мнению исследователей, качественно генерирует вопросы для обсуждения, во всех модулях они выстраиваются по одному шаблону. В реальном курсе такой подход вызвал бы у студентов скуку.

• Недостаточно глубины в тестовых вопросах и заданиях. Исследователи заметили, что в тестах, сгенерированных ChatGPT, проверялись только знания фактов — то есть, по сути, запоминание информации. С помощью таких тестов не получится оценить, например, как студенты поняли тот или иной принцип, способны ли применять его в разных контекстах. То же касается и заданий, предполагающих написание короткого эссе — вопросы для них тоже зачастую были довольно стандартными и общими.

• Частые сбои в генерации ответов. Авторы сообщают, что в процессе генерации нередко возникали системные ошибки — например, ChatGPT выдавал план только двух модулей вместо запрошенных четырёх и останавливался. А после промпта в духе «Продолжай» просто начинал сначала.

Исследователи выделили контроль качества как основную угрозу в области генерации контента. По их мнению, эта проблема проявляется на нескольких уровнях. Пользователи часто сталкиваются с сбоями в процессе генерации, получая разнообразные результаты на одни и те же запросы. Кроме того, в содержании выдачи могут встречаться фактические ошибки и ссылки на несуществующие источники. Это подчеркивает необходимость улучшения алгоритмов, обеспечивающих более стабильное и точное качество информации.

Так может ли ChatGPT быть полезен разработчикам курсов?

В результате проведенного эксперимента исследователи пришли к выводу, что ChatGPT может быть ценным инструментом на начальных этапах проектирования курсов. С его помощью можно быстро создать первоначальный прототип структуры курса, который затем можно доработать самостоятельно. Нейросеть также демонстрирует свою эффективность в процессе разработки учебных материалов, предоставляя методистам идеи для заданий, вопросов для обсуждения и дополнительные источники информации. Это делает ChatGPT незаменимым помощником в образовательном процессе, способствующим повышению качества учебных программ.

Авторы эксперимента подчеркивают, что педдизайнер должен уверенно ориентироваться в своей предметной области для эффективного использования ChatGPT в процессе проектирования. Без глубоких знаний невозможно выявить и исправить ошибки, которые могут возникнуть у ИИ, а также доработать структуру курса и учебные материалы. Важно, чтобы педдизайнер обладал достаточной экспертизой, что позволит ему максимально использовать потенциал ChatGPT и создавать качественный образовательный контент.

Исследователи поднимают важный вопрос: всегда ли целесообразно сокращать временные затраты на начальных этапах проектирования курса? Они утверждают, что когда методист самостоятельно ищет источники информации, отбирает наиболее значимые материалы и структурирует их, это способствует более глубокому пониманию темы курса. Такой подход позволяет точно сформулировать цели и задачи, а также установить связь между ними и действиями учащихся. Таким образом, исследователи подчеркивают важность нахождения баланса между использованием инструментов искусственного интеллекта и самостоятельной творческой деятельностью.