Разработка учебных тестов: как это делать / Skillbox Media

Содержание:

• Что нужно знать перед разработкой теста
• Составляем тест: практические советы
• Как проверить, работает ли тест

Кто оказал помощь в понимании ситуации?

Научный сотрудник лаборатории измерения новых конструктов и дизайна тестов в Центре психометрики и измерений в образовании Института образования Высшей школы экономики. Он является руководителем проекта «4К», который фокусируется на измерении критического мышления, креативности, коммуникации и кооперации. Также преподаватель в Институте образования, где ведет курсы по психометрике и методологии измерений в психологии и образовании. Специализируется на разработке инновационных методов оценки образовательных результатов и психологических характеристик.

В данной статье мы обсудим процесс разработки образовательных тестов, которые предназначены для проверки предметных знаний и навыков. Разработанные здесь принципы могут быть применены и к тестам, направленным на оценку психологических качеств или софт-скиллов. Правила создания эффективных тестов универсальны и включают в себя четкое формулирование вопросов, использование разнообразных типов заданий и обеспечение объективности оценки. Наша цель — помочь вам создать качественные тесты, которые эффективно измеряют знания и навыки участников.

В этом материале вы получите информацию о том, что именно вас интересует. Мы рассмотрим ключевые аспекты темы, чтобы помочь вам лучше понять предмет обсуждения. Четкое понимание темы позволит вам принимать более обоснованные решения и повысить вашу осведомленность в данной области. Ожидайте глубокого анализа и полезных советов, которые будут актуальны для вашей ситуации.

• можно ли с помощью теста, где учащийся выбирает из вариантов ответов, проверить, как он умеет рассуждать;
• можно ли измерить тестом не просто знание фактов, а понимание учебного материала;
• чем трудные задания отличаются от сложных и почему трудным тест может быть, а вот сложным его лучше не делать;
• с каких заданий лучше начинать — простых или трудных;
• какое количество вариантов ответа оптимально;
• как проверить, работает ли тест.

Что нужно знать перед разработкой теста

Психометрики определяют тест как инструмент для измерения различных характеристик, включая ролевые игры, эссе и оценку портфолио. В данном контексте мы сосредоточимся на наиболее распространенном типе теста, который в русском языке обозначается термином «тест» в узком смысле. Это касается вопросов с выбором ответа из предложенных вариантов. Такие тесты широко используются в психологии и образовании для оценки знаний, навыков и личностных характеристик. Мы рассмотрим их структуру, применение и преимущества, а также влияние на результаты тестирования.

Стандартизированные тесты в образовании имеют неоднозначную репутацию. Тем не менее, психометрики продолжают поддерживать этот метод оценки, утверждая, что тесты с выбором ответа являются масштабируемыми, справедливыми и объективными. Это означает, что один и тот же тест можно использовать для оценки неограниченного числа учащихся, обеспечивая при этом равные условия для всех. Важно отметить, что результаты тестирования не подвержены влиянию внешних факторов или субъективных мнений.

Тем не менее, любой специалист в области психометрии отметит, что тесты с выбором ответа не являются универсальным инструментом. Выбор метода оценки знаний зависит от того, какой конкретно конструкт необходимо измерить. В психометрике конструктом называют такие свойства психики или способности, которые не поддаются прямому наблюдению, но могут быть оценены через внешние поведенческие проявления. Это подчеркивает важность выбора адекватных методов оценки для получения достоверных результатов.

Тесты с выбором ответа идеально подходят для оценки знаний в различных конструктах, особенно когда речь идет о фактической информации и специфических технических навыках. Они позволяют эффективно проверить понимание ключевых понятий, таких как разделение команд в программировании на конкретных языках. Использование таких тестов помогает выявить уровень знаний и позволяет быстро оценить способности в определенной области.

Для проверки навыков учащегося в рассуждении, взаимодействии с коллегами и поиске практических решений в сложных ситуациях тесты с выбором ответов оказываются неэффективными. Чем сложнее навыки, которые необходимо оценить, тем более адаптивным и многофункциональным должен быть инструмент для измерения этих компетенций. Эффективные методы оценки должны учитывать особенности взаимодействия и умения анализировать, что делает традиционные тесты недостаточными для полноценного анализа уровня подготовки учащихся.

Тесты могут выявить лишь определенные виды знаний. В каждой учебной дисциплине существуют базовые факты, на основе которых можно составить вопросы с несколькими вариантами ответов. Например, можно спросить о годе открытия Америки Христофором Колумбом. Такие вопросы помогают проверить усвоение элементарной информации, но не всегда отражают глубину знания предмета. Для более комплексной оценки знаний необходимо использовать разнообразные форматы вопросов, которые требуют критического мышления и анализа.

Существуют элементы знаний, для усвоения которых простого запоминания недостаточно. Например, если мы хотим разобраться в том, какие события и явления стали предпосылками открытия Америки, то вопросы с выбором ответа из нескольких вариантов не будут столь эффективны. Для глубокого понимания этой темы важно анализировать исторические контексты, оценивать влияние различных факторов и осмысливать последствия, что требует более сложных методов обучения и осознания.

Каждый преподаватель стремится к тому, чтобы студенты не просто запоминали факты, но и осваивали материал на глубоком уровне. Однако на сегодняшний день измерение степени понимания остается сложной задачей. Возможно, в будущем нейронауки предоставят нам инструменты для мониторинга процессов, происходящих в мозге каждого ученика. В настоящее время психометрика фокусируется на наблюдаемых аспектах и поведенческих проявлениях, но универсальные критерии понимания пока не разработаны.

В педагогических измерениях, где требуется оценка более глубоких и не фактологических знаний, акцент смещается с простого понимания на способность интерпретировать и анализировать информацию. В этом контексте задания с открытым ответом, а также компьютерные симуляции и игры оказываются более эффективными, чем тесты с выбором из нескольких вариантов. Такие инструменты создают более гибкую среду тестирования, позволяя лучше оценить реальные навыки и знания учащихся.

Составляем тест: практические советы

Если ваша цель — оценить усвоение фактологических знаний или конкретных навыков, тест с выбором ответов будет идеальным решением. Для создания и распространения такого теста не требуется сложных цифровых платформ. Для выполнения базовых задач достаточно использовать инструменты, такие как формы Google или Яндекс. Эти сервисы позволяют легко разрабатывать опросы и тесты, что делает процесс проверки знаний простым и доступным.

В этом разделе статьи мы подробно рассмотрим ключевые аспекты составления качественного теста. Если вы хотите углубить свои знания по этой теме, рекомендуем обратить внимание на книгу Haladyna T. M. и Rodriguez M. C. «Developing and validating test items» (Routledge, 2013) и другие работы этих авторов. К сожалению, на русском языке данное издание не доступно.

К концу тестирования учащиеся часто испытывают усталость. В результате последние задания не всегда отражают уровень их знаний. Это указывает на то, что длительность теста должна быть оптимально ограничена.

Короткие тесты имеют низкую надёжность. Учащийся может дать неверный ответ из-за невнимательности или, наоборот, случайно угадать правильный вариант. Более объёмные тесты уменьшают вероятность таких ошибок, поскольку случайные ошибки могут компенсировать друг друга. Таким образом, чем больше вопросов в тесте, тем выше вероятность получить достоверный результат. Надёжные тесты являются важным инструментом для оценки знаний и навыков, поэтому стоит уделить внимание их объёму и структуре.

Определение оптимальной длины теста основывается на времени, необходимом для выполнения одного задания. Это время варьируется в зависимости от сложности вопросов и может составлять от нескольких десятков секунд до пяти минут. Важно также учитывать возраст учащихся, так как младшие студенты могут требовать больше времени на решение задач, чем старшие. При разработке теста следует стремиться к сбалансированному количеству вопросов, чтобы сохранить внимание и заинтересованность учащихся, а также обеспечить возможность адекватной оценки их знаний.

• Детям до подросткового возраста нельзя давать задание дольше, чем на 20 минут, — или нужно предусмотреть возможность перерыва в тесте.
• Для старших подростков и студентов, а также взрослых лучше исходить из продолжительности привычного занятия. Например, для старшеклассника нормально посвятить тесту урок в 45 минут (или два урока с переменой между ними). А для студентов уже можно написать тест и на 80 минут.
• В дополнительном образовании взрослых следует учитывать, что взрослый человек уже не считает себя обязанным участвовать ни в каких тестах. Ему нужна дополнительная мотивация. Например, можно пообещать индивидуальную обратную связь по результатам теста (и потом обязательно её предоставить!).

Золотое правило гласит: чем больше времени в курсе уделено определенной теме, тем больше вопросов будет в финальном тесте. Это связано с тем, что при разработке курса акцент делается на наиболее значимые темы, что подразумевает их углубленное изучение и, соответственно, увеличение количества вопросов для проверки усвоения материала. Таким образом, важно осознавать, что распределение часов имеет прямое влияние на структуру финального тестирования и уровень подготовки студентов.

Рекомендуется задавать минимум три вопроса по каждой теме, если они не слишком узкие. Это позволит сбалансировать случайные ошибки и получить более объективные результаты. Важно предоставить обратную связь не только по отдельным заданиям, но и по теме в целом, чтобы обеспечить глубокое понимание материала. Такой подход способствует более эффективному обучению и помогает выявить ключевые аспекты, требующие дополнительного внимания.

В психометрике задания могут быть трудными, но не сложными. Трудность в этой области определяется так же, как в русском языке. Для успешного выполнения трудного задания требуется высокий уровень знаний по данной теме. В результате, лишь немногие студенты смогут справиться с такими задачами.

Сложность является важным психометрическим понятием, определяющим количество действий и когнитивных операций, необходимых для решения задачи. Рассмотрим математический пример: задача деления 0,219 на 0,365 считается трудной, но не сложной, так как для её выполнения требуется лишь одно действие. Таким образом, трудность задачи может быть связана с её восприятием, в то время как сложность определяется количеством необходимых шагов для достижения результата.

Начинать тестирование рекомендуется с более простых заданий, так как в начале уровень стресса обычно выше, что может негативно сказаться на результатах. Если тест состоит из тематических блоков, целесообразно размещать задания в каждом из них по возрастанию сложности – от лёгких к трудным. Такой подход способствует более точной оценке знаний и снижению тревожности у участников.

Вопрос о распределении по тематическим блокам является сложным и многогранным. С одной стороны, целесообразно, чтобы тестируемый сосредоточился на одной конкретной теме в течение всего теста. Это позволяет глубже проанализировать его понимание и навыки в определенной области. С другой стороны, существует необходимость оценить способность тестируемого быстро переключаться между различными задачами и проблемами. Такой подход позволяет определить уровень адаптивности и многозадачности, что также важно в современном динамичном мире.

Способ проведения тестирования зависит от конкретной дисциплины и целей теста. Ключевым моментом является обеспечение равных условий для всех участников, что позволяет получить сопоставимые результаты. Тестирование должно быть организовано таким образом, чтобы каждый тестируемый имел доступ к одинаковым ресурсам и информации, что способствует объективности оценки.

Разделение теста на блоки является важной практикой, так как позволяет тестируемым осознать, что тест имеет определенные границы. В условиях компьютерного тестирования, когда невозможно пролистать задания и оценить, сколько вопросов осталось, это становится особенно актуальным. Кроме того, важно заранее информировать участников о наличии временных ограничений для ответов, чтобы они могли правильно распределить свое время. Это способствует более эффективному прохождению теста и снижает уровень стресса у тестируемых.

На сегодняшний день наиболее распространенной формой тестирования являются тесты, подобные тем, что используются в ЕГЭ, где предлагается четыре варианта ответа. Существует мнение, что выбор именно четырех вариантов связан с ограничениями рабочей памяти человека: считается, что средний человек может одновременно удерживать в сознании около четырех элементов. Это объяснение подчеркивает важность разработки тестов, учитывающих когнитивные особенности, что способствует более эффективной оценке знаний.

Психологи-когнитивисты считают данное обоснование ненаучным. Вероятнее всего, четыре варианта ответа были выбраны случайно, и в этой цифре нет ничего, что было бы задано биологически или психологически. Возможны и другие варианты, например, всего три ответа.

Создание большего количества неверных ответов часто представляет собой сложную задачу.

Создание неправильных вариантов ответов является сложным психометрическим искусством. Эти варианты, известные как дистракторы, предназначены для отвлечения внимания от правильного ответа. Эффективные дистракторы должны быть логичными и правдоподобными, чтобы участник тестирования не смог легко выявить верный ответ. Качественные неправильные варианты требуют глубокого понимания темы и специфики вопросов, что делает процесс их разработки важным аспектом тестирования и оценки знаний.

Ключевым аспектом создания тестовых вопросов является необходимость формулировать неправильные ответы так, чтобы они выглядели правдоподобно и были схожи с правильным вариантом. Это позволяет избежать путаницы и повысить уровень вовлеченности участников. Например, если вопрос содержит конструкцию «В каком году?», все предложенные варианты ответов должны представлять собой даты, находящиеся в пределах одного временного диапазона. Таким образом, участники не будут легко исключать неверные варианты, что делает тест более сложным и интересным.

Неверные варианты ответов не должны включать правильный ответ или его часть. В случае, если такой вариант все же присутствует, необходимо уточнить в вопросе, что тестируемый должен выбрать именно самый правильный ответ. Это поможет избежать путаницы и обеспечит точность оценивания знаний.

Высший пилотаж — это анализ типичных ошибок студентов на основе их неправильных вариантов ответов. Такой подход позволяет предоставлять более обширную и глубокую обратную связь. Вместо простого указания на ошибки мы исследуем, почему учащийся выбрал именно этот неверный вариант. Это способствует лучшему пониманию материала и улучшает процесс обучения, помогая студентам избежать повторения одних и тех же ошибок в будущем.

Помимо надёжности, важным качеством любого теста является валидность. Согласно классическому определению, валидность — это способность теста измерять именно то, для чего он предназначен. Современное понимание валидности подразумевает, что результаты валидного теста могут быть интерпретированы в соответствии с той логикой, на основе которой он был разработан. Валидность теста играет ключевую роль в обеспечении его эффективности и точности, так как она гарантирует, что полученные данные действительно отражают исследуемые явления.

Иногда на валидность результатов может влиять то, как тестируемый воспринимает ситуацию в задании. Даже если его взгляд отличается от общепринятого, это не обязательно означает ошибку. Важно учитывать разнообразие интерпретаций, которое может возникнуть в процессе тестирования.

Рассмотрим пример из теста на критическое мышление, созданного в Высшей школе экономики. Этот тест представляет собой симуляцию онлайн-среды, в которой участник взаимодействует с ботом. Одна из основных задач заключается в том, чтобы получить недостающую информацию для составления рецепта торта. Такой подход помогает оценить способности к критическому анализу и умению задавать правильные вопросы, что является важным аспектом в процессе обучения и принятия решений.

Тестируемый должен задать боту конкретный вопрос, например: «Сколько яиц нужно добавить?». Однако иногда люди начинают с приветствия, например: «Привет, как дела?», и это вполне нормально, прежде чем уточнить рецепт. Если при составлении теста не учесть этот аспект, такие ответы могут быть неправильно оценены как ошибки. Это подчеркивает важность правильного формулирования тестовых заданий и учета естественного общения.

Одним из распространенных опасений относительно тестов является проблема «угадайки», что приводит к предложению увеличивать количество вариантов ответа. Кажется, что при наличии двух вариантов вероятность правильного ответа составляет 50%. Однако это утверждение справедливо лишь в том случае, если тест состоит из единственного вопроса с двумя вариантами ответов. В реальности, когда тест включает несколько вопросов, вероятность угадать правильный ответ на каждый из них может значительно изменяться в зависимости от общего числа вопросов и сложности заданий. Таким образом, добавление большего количества вариантов ответов может не только снизить вероятность угадывания, но и повысить уровень осведомленности и аналитического мышления у тестируемого.

Добавление второго вопроса, который не содержит подсказок к первому, приведет к умножению вероятностей. В результате шанс случайно угадать правильные ответы увеличится до 25%. В контексте теста, состоящего из десяти вопросов, вероятность ответить на все правильно случайным образом становится практически нулевой.

Такой расчет является обоснованным лишь в тех случаях, когда тесты содержат тщательно сформулированные неправильные ответы.

Как проверить, работает ли тест

На магистерской программе Института образования психометриков в течение двух учебных лет студенты изучают методы оценки и проверки надежности тестов. Основное внимание уделяется психометрическим теориям, статистическим методам и практическим навыкам, необходимым для анализа тестовых данных. В рамках программы студенты осваивают различные подходы к разработке и валидации тестов, что позволяет им эффективно оценивать их работоспособность и качество. Программа предоставляет углубленные знания в области психометрии, что способствует подготовке квалифицированных специалистов, способных решать актуальные задачи в области оценки и тестирования.

Тестирование можно проводить с использованием качественных или количественных методов. Качественный метод включает в себя интервью, в ходе которого разработчик теста предоставляет задания представителю целевой группы, наблюдает за его действиями и задает уточняющие вопросы. Этот подход позволяет выяснить, насколько понятно задание, какие шаги предпринимает тестируемый для решения задачи, а также какие моменты вызывают затруднения или, наоборот, кажутся слишком простыми. Такой анализ помогает улучшить тест и сделать его более эффективным для дальнейшего использования.

Качественная проверка тестов направлена на подтверждение того, что решаемые задачи действительно активируют необходимые когнитивные процессы. Это значит, что тестируемый должен не просто выбирать из предложенных вариантов, а активно решать математическую задачу. Важно, чтобы дистракторы не содержали элементов правильного ответа, а все инструкции были четкими и понятными. Это способствует более точной оценке знаний и навыков участников тестирования, что в свою очередь повышает надежность результатов.

Оценка работоспособности теста при помощи количественных методов является основным аспектом психометрики. Данная оценка осуществляется через статистический анализ, который требует наличия примерно 100 наблюдений для достижения достоверных результатов.

Для каждого курса проводить полную проверку не всегда возможно, поэтому часто достаточно провести интервью. Однако количественная оценка результатов тестирования становится необходимой, когда на основе этих данных принимаются решения о зачислении на курс или о выдаче сертификатов. Такой подход обеспечивает объективность и прозрачность процесса, что особенно важно для образовательных учреждений и участников курсов.

В результате проведения тестирования разработчик получает те же данные, что и при качественной оценке. Однако количественная оценка предоставляет дополнительные возможности для анализа: она позволяет выявить вопросы и утверждения, которые не соответствуют своим целям, а также те, которые являются избыточными и не влияют на результаты теста. Таким образом, тестирование становится более эффективным, позволяя оптимизировать его структуру и содержание.

Переделанный текст:

Обязательно ознакомьтесь с нашими другими материалами.

• Психометрика: что это такое и зачем она нужна образованию
• Как сделать онлайн-тест в российском сервисе myQuiz
• Как делать тесты, которые работают. Отрывок из учебника Edutainment