Адаптация тестов в психометрике / Skillbox Media

Содержание:

• Риски неправильного перевода
• Всё ли можно перевести?
• Адаптация — это не только перевод
• Что нужно сделать, чтобы адаптировать тест
• Зачем адаптировать тесты, если можно разрабатывать свои

Современные методы психометрики обеспечивают возможность точного измерения и оценки различных способностей, качеств, знаний и навыков человека в разнообразных контекстах. Это может происходить как в процессе подбора персонала, так и в формате видеоигр, бесед или при наблюдении за повседневным поведением. Также психометрические инструменты активно применяются в образовательных учреждениях для оценки учебных достижений. Однако, несмотря на широкий спектр применения, найти готовый и эффективный психометрический инструмент может быть достаточно сложно.

Специалисты отмечают, что на русском языке зачастую сложно найти качественный и надежный инструмент. Поэтому возникает вопрос: почему бы не взять проверенный зарубежный тест и просто не перевести его на русский? Однако, если вы хотите, чтобы тест действительно был эффективным, такой подход не сработает. В данной статье мы объясним причины этого явления и предложим альтернативные решения для создания эффективных тестов на русском языке.

Мы получили помощь от экспертов, которые помогли нам разобраться в сложных вопросах. Благодаря их опыту и знаниям, мы смогли лучше понять актуальные проблемы и найти эффективные решения. Обсуждение с профессионалами стало важным шагом на пути к улучшению наших навыков и понимания темы.

Старший научный сотрудник Центра психометрики и измерений в образовании при Институте образования Высшей школы экономики. Преподает на магистерской программе «Обучение и оценивание как наука», акцентируя внимание на современных методах оценки образовательных результатов и психометрических подходах. Специализируется на разработке и внедрении эффективных инструментов для измерения учебных достижений.

Риски неправильного перевода

Правильный перевод — это сложная задача, требующая глубокого понимания темы и контекста. Качественный переводчик должен обладать обширными знаниями в конкретной области и уметь интерпретировать смысл исходного текста. Однако такая квалификация встречается не так часто, как хотелось бы.

В 2015 году в Канаде внедрили тест NCLEX-RN, разработанный в США, для оценки квалификации медсестёр. Результаты первого года оказались довольно низкими: лишь 69,5% участников смогли успешно сдать экзамен и получить лицензию на работу. Для сравнения, в США в том же году экзамен прошли 85% участников, а предыдущий канадский тест обычно сдавали более 90% соискателей. Этот контраст в результатах вызывает вопросы о сложности нового теста и его влиянии на подготовку медсестёр в Канаде.

Независимое исследование выявило одну из причин провалов: тест не был адекватно адаптирован к канадским реалиям. В результате некоторые термины и аббревиатуры были переданы неверно. Наибольшее количество проблем было обнаружено во франкоязычной версии. Ошибки перевода и сложности с прохождением экзамена в первые два года, по оценкам, способствовали нехватке медсестёр в отдельных регионах Канады. Эти факторы подчеркивают важность точной адаптации образовательных материалов к специфике страны, чтобы обеспечить достаточное количество квалифицированных медицинских специалистов.

Всё ли можно перевести?

Канадский случай является наглядным примером ошибок в переводе. Даже при отсутствии очевидных неточностей перевод теста может не сработать должным образом. Важно учитывать, что нюансы языка и культурные особенности могут влиять на точность и эффективность перевода. Правильный перевод требует не только лексической точности, но и глубокого понимания контекста, чтобы избежать недопонимания и обеспечить адекватное восприятие информации.

В 1990-е годы в Израиле было установлено, что русскоязычные абитуриенты демонстрируют лучшие результаты на вступительном экзамене в вузы, известном как PET (Psychometric Entrance Test). Причина этого явления заключается в том, что в русскоязычной версии теста примерно треть заданий в языковой части проще по сравнению с ивритом. Это создало значительное преимущество для русскоязычных студентов, позволяя им успешно проходить вступительные испытания и поступать в высшие учебные заведения.

Эффект оказался неожиданным: сложные термины на иврите, включая библейские слова и новые, появившиеся в XX веке, были переведены на общеупотребительный русский язык. Это упрощение дало возможность русскоязычным абитуриентам легче вспомнить знакомые разговорные слова или найти подходящие аналогии, в отличие от тех, кто проходил тест на оригинальном языке. Такой подход повысил доступность знаний и облегчил процесс изучения языка для русскоязычных студентов.

При разработке образовательных тестов важно учитывать все детали. Ярким примером этого является исследование, посвященное проблемам перевода тестов PISA-2000 с английского на финский язык. Перевод таких тестов требует внимательного подхода, так как даже небольшие нюансы могут существенно повлиять на результаты. Корректный перевод обеспечивает точность оценки знаний и умений учащихся, что является ключевым аспектом в образовательном процессе. Понимание контекста и культурных особенностей языка также играет важную роль в создании эффективных тестов.

Текст, использованный для проверки читательской грамотности, начинается с описания некой героини, которая сидит на берегу реки и погружена в размышления. В этот момент читатель не имеет четкого представления о персонаже, поскольку это может быть как человек, так и животное женского пола. Этот элемент неопределенности создает интригу и побуждает читателя задуматься о внутреннем мире героини и ее переживаниях.

В финском языке отсутствует личное местоимение женского рода, что привело к использованию слова «nainen», что в переводе означает «женщина». Это изменение сделало художественный рассказ более прямым и простым. На первый взгляд, это может показаться незначительной деталью, но именно из-за этого финский текст не может быть считаться точным эквивалентом оригинала.

Переделка текста с учетом SEO:

Обратите внимание на важность качественного контента для повышения видимости вашего сайта в поисковых системах. Используйте ключевые слова, соответствующие теме, и оптимизируйте заголовки, чтобы улучшить ранжирование. Регулярно обновляйте информацию и добавляйте ссылки на авторитетные источники, что поможет увеличить доверие к вашему ресурсу. Создание уникального и полезного контента не только привлекает пользователей, но и способствует их удержанию на сайте, что положительно сказывается на SEO. Используйте метатеги, заголовки и структурированные данные для улучшения индексации вашего контента.

Психометрика: интервью со специалистом

Психометрика представляет собой отрасль психологии, посвященную измерению психических процессов и свойств личности. В рамках данного интервью специалист расскажет о ключевых аспектах психометрики, ее методах и применении в различных сферах.

Основная задача психометрики — разработка и использование тестов, которые помогают оценить когнитивные способности, эмоциональное состояние и другие личностные характеристики. Эти инструменты находят широкое применение в образовании, клинической психологии, HR-менеджменте и других областях.

Специалист подчеркнет важность валидности и надежности психометрических тестов, а также их роль в принятии обоснованных решений в профессиональной деятельности. Понимание принципов психометрики позволяет более эффективно использовать тестирование для диагностики и развития личности, а также для подбора кадров в компании.

Психометрика является важным инструментом для психологов, педагогов и HR-специалистов, так как позволяет глубже понять индивидуальные особенности и потребности человека. В интервью будут обсуждены актуальные тенденции и перспективы развития этой области, а также советы по выбору качественных психометрических инструментов.

Адаптация — это не только перевод

Качественно переведённый иностранный тест может не всегда давать точные результаты. Некоторые оценочные инструменты измеряют качества и знания, которые могут отсутствовать в определённых культурах. Психометрики отмечают, что такие качества плохо поддаются адаптации, что может негативно сказаться на достоверности тестирования. Поэтому важно учитывать культурные особенности при использовании международных тестов для оценки знаний и навыков.

Качество жизни, креативность и счастье — это понятия, которые по-разному интерпретируются в различных культурах и языках. В западной культуре креативность часто воспринимается как способность к внезапным озарениям и инсайтам, в то время как в восточной традиции акцент делается на умении длительное время заниматься сложной интеллектуальной работой. Понимание этих различий помогает лучше осознать, как культура влияет на восприятие и развитие креативных способностей, что, в свою очередь, сказывается на уровне счастья и качества жизни людей.

Если вы не уверены, что измеряемое качество действительно присутствует в культуре, для которой переводится тест, результаты могут быть трудны для интерпретации. Важно учитывать культурный контекст при оценке тестов, чтобы избежать недопонимания и обеспечить точность полученных данных. Понимание культурных различий и адаптация тестов к местным условиям играют ключевую роль в правильной интерпретации результатов и их применении в практике.

В исследовании PISA-2018, помимо оценки математической и читательской грамотности, также проводилась проверка глобальных компетенций. Одним из анализируемых текстов была тема «быстрой моды» — производства недорогой и низкокачественной одежды, которую потребители активно приобретают, но используют лишь один сезон. Эта проблема поднимает важные вопросы о воздействии на окружающую среду и устойчивом потреблении.

В тексте описывается эксперимент, проведенный в Германии с автоматом по продаже футболок. Перед тем как приобрести футболку, пользователи имели возможность увидеть шокирующие изображения условий труда на фабрике, где производится эта одежда. В результате, девять из десяти участников решили не покупать футболку, а вместо этого пожертвовали два евро на улучшение условий труда на этой фабрике. Этот эксперимент поднимает важные вопросы о социальной ответственности бизнеса и осведомленности потребителей о влиянии их покупок на трудовые условия.

Участникам международного исследования PISA было предложено объяснить причины выбора людей. В России правильный ответ смогли дать менее половины опрошенных, что является низким показателем по сравнению с ведущими странами по результатам PISA. Можно ли сделать вывод, что у российских 15-летних подростков наблюдаются серьезные проблемы с глобальными компетенциями? Или же причина заключается в том, что опрошенные не понимают, почему человек платит деньги, но отказывается от покупки? Учитывая, что многие российские семьи вынуждены экономить даже на базовых вещах, такой вариант кажется более вероятным. Это подчеркивает необходимость улучшения финансовой грамотности и осведомленности о потребительских аспектах среди молодежи.

Что нужно сделать, чтобы адаптировать тест

Первым тестом, который был переведён на другие языки, считается шкала интеллекта Симона — Бине. Этот французский оригинал был разработан в 1905 году, а в 1911 году его перевели на английский язык. К 1916 году тест уже проводился на семи языках, что свидетельствует о его популярности и значимости. На сегодняшний день адаптация тестов интеллекта остаётся актуальной практикой, позволяя учитывать культурные и языковые особенности различных стран.

Долгое время адаптация тестов сводилась лишь к переводу. По мнению Рона Хамблтона, эксперта в области образовательных измерений, до 1995 года около 80% кросс-культурных исследований не увенчались успехом из-за некачественной адаптации инструментов. В 1995 году он опубликовал статью, ставшую первым общепринятым руководством по адаптации тестов. В 2005 году, при его участии, была выпущена первая редакция методологических рекомендаций по адаптации тестов под эгидой Международной тестовой комиссии. Эти работы положили начало более тщательному и научно обоснованному подходу к адаптации тестов, что способствовало повышению их надежности и валидности в различных культурных контекстах.

В настоящее время действует вторая редакция документа. В ней описаны ключевые шаги, которые необходимо выполнить.

• Ещё до начала адаптации экспертам необходимо оценить, как люди в стране, для которой планируется перевести тест, понимают измеряемое качество.
• Также до начала работы нужно получить согласие того, кто держит авторское право на тест, на проведение любых адаптаций — даже если не предполагается коммерческое использование новой версии.
• Затем эксперты ищут лингвистические, психологические, культурные различия и дают рекомендации по переводу.
• Перевод и адаптация проводятся так, чтобы задания и инструкции к заданиям имели тот же смысл, который был заложен в оригинальный инструмент, а все форматы заданий, шкалы, рубрики выставления баллов были правильно адаптированы к стране, где будет использоваться тест.
• Проверить качество адаптации позволяет эмпирический анализ. Его цель — подтвердить статистически, что конструкты, методы и процедуры (то есть условия проведения теста) эквивалентны оригинальным. Задания, в которых на этом этапе выявляются искажения, либо дорабатываются, либо выбрасываются.

Сложность заключается в том, что инструмент, разработанный в одной стране, невозможно без изменений адаптировать для другой. Например, в международном исследовании PISA всегда производится адаптация к местным условиям: изменяются аббревиатуры, единицы измерения, названия мест и даже имена, если не указано иное. Рекомендуется подбирать русские имена, которые звучат аналогично и начинаются на ту же букву. Например, имя «Арья» может быть преобразовано в «Арину», а «Элли» — в «Аллу». Это позволяет участникам тестирования лучше воспринимать ситуации, описанные в тестах, как более близкие и понятные.

Существенные изменения в тестах могут привести к несопоставимости различных версий. Это означает, что результаты измерений в разных странах не могут быть корректно сравнены. При выявлении различий в результатах оценивания причина может заключаться не в том, что измеряемый конструкт у участников отличается в разных странах, а в том, что переведенные задания стали проще в каком-либо из регионов.

В некоторых случаях вместо адаптации теста целесообразно проводить его локализацию. Примером такого подхода является работа Высшей школы экономики (ВШЭ) с оценкой чтения в инструменте iPIPS (International Performance Indicators in Primary Schools). Данный тест разработан для оценки знаний и навыков детей, которые собираются поступать в начальную школу. Локализация теста позволяет учесть культурные и языковые особенности, что делает его более релевантным для целевой аудитории.

Оригинальный английский тест включал задания-ловушки, предназначенные для выявления распространенных проблем, с которыми сталкиваются начинающие читатели английского языка. Прямой перевод этих заданий на русский язык был бы неэффективен. В результате, на основе той же теоретической модели были разработаны новые задания на русском, которые сохраняют суть и цель оригинала, но адаптированы для русскоязычных пользователей.

Различия между двумя версиями тестов оказались существенными, что делает невозможным сравнение индивидуальных результатов детей, проходивших тест на русском языке, с результатами их сверстников из англоязычных стран. Однако на групповом уровне такое сравнение все же возможно, так как оба теста основаны на одной и той же теоретической модели развития читательских навыков у детей. Важно отметить, что русскоязычный тест СТАРТ является локализованной версией англоязычного iPIPS, а не полностью оригинальным инструментом. Это подчеркивает важность адаптации тестирования к языковым и культурным особенностям, что способствует более точной оценке читательских навыков детей в разных языковых средах.

Читать также:

Разработка учебных тестов: пошаговое руководство

Создание учебных тестов является важным аспектом образовательного процесса. Правильный подход к разработке тестов помогает не только оценить знания учащихся, но и улучшить качество обучения. В этой статье мы рассмотрим основные шаги и рекомендации по созданию эффективных учебных тестов.

Определите цель теста. Прежде чем приступить к разработке, важно четко понимать, какую именно цель вы преследуете. Это может быть оценка усвоения материала, подготовка к экзамену или выявление пробелов в знаниях.

Выберите формат теста. Существует несколько форматов тестов, включая множественный выбор, открытые вопросы и тесты с кратким ответом. Выбор формата зависит от целей тестирования и темы материала.

Разработайте вопросы. Вопросы должны быть ясными и однозначными. Избегайте сложных формулировок и двусмысленностей. Важно, чтобы каждый вопрос соответствовал целям теста и уровню подготовки учащихся.

Определите критерии оценивания. Четкие критерии оценивания помогут оценить результаты тестирования объективно. Укажите количество баллов за каждый вопрос и создайте рубрики для открытых вопросов.

Проведите тестирование. Перед тем как использовать тест в учебном процессе, протестируйте его на небольшой группе. Это поможет выявить возможные недочеты и улучшить качество теста.

Анализируйте результаты. После проведения теста важно проанализировать результаты. Это позволит не только оценить уровень знаний учащихся, но и выявить темы, требующие дополнительного внимания.

Создание учебных тестов – это процесс, требующий тщательной подготовки и анализа. Следуя этим рекомендациям, вы сможете разработать эффективные тесты, которые помогут вашим ученикам достигнуть больших успехов в обучении.

Зачем адаптировать тесты, если можно разрабатывать свои

Адаптация зарубежного теста по времени и стоимости не оказывается дешевле, чем разработка собственного. Поэтому имеет смысл рассмотреть вариант создания новых инструментов. Это обеспечит отсутствие проблем с переводом и позволит учесть специфические требования и особенности целевой аудитории. Разработка собственного теста может стать более эффективным решением в долгосрочной перспективе, позволяя избежать ошибок, связанных с интерпретацией и адаптацией материалов.

Несмотря на существующие трудности и ограничения в области психометрики, специалисты стремятся адаптировать качественные и востребованные зарубежные методики, когда это возможно и целесообразно. Это обусловлено тем, что для проведения международных сравнений необходимо использовать эквивалентные инструменты в исследованиях. Адаптация зарубежных методик позволяет повысить качество и достоверность получаемых данных, а также обеспечить их сопоставимость на международном уровне.

Адаптация к различным языкам играет ключевую роль в проведении международных сравнительных исследований, таких как PISA, PIAAC, TIMSS и PIRLS. Эти исследования позволяют объективно оценить уровень образования и грамотности в разных странах. Кроме того, существуют шкалы для оценки образовательной среды в детских садах, школах и семьях, такие как ECERS и другие подобные инструменты. Эти инструменты помогают выявлять сильные и слабые стороны образовательных систем, что способствует их улучшению на международном уровне.

Переделайте текст, сохраняя основную тему и избегая добавления лишней информации. Оптимизируйте текст для SEO, при этом можно немного расширить содержание. Исключите смайлы и ненужные символы, а также избегайте использования списков или нумерации.

Читайте также:

• Что не так со стандартизированными школьными тестами
• Как легально использовать чужой контент в своём онлайн-курсе
• «Поколение ЕГЭ»: правда ли, что в школах стали учить хуже?