Опубликован: 30.11.2014 | Уровень: для всех | Доступ: платный | ВУЗ: Кабардино-Балкарский государственный университет
Лекция 6:

Шкалирование и интерпретация результатов тестирования

< Лекция 5 || Лекция 6: 123

6.2. Выравнивание результатов тестирования

Выравнивание результатов – процедура, которая устанавливает связь между баллами испытуемых по различным вариантам теста, и помещает их на одну шкалу. Выравнивание необходимо, например, при:

  • разработке банка (базы) заданий;
  • мониторинге, сравнении достижений обучаемых в различные моменты времени;
  • адаптивном тестировании.

Так как в банке находятся задания с известными, откалиброванными параметрами, а из них формируемы различные эквивалентные варианты теста, то выравнивание вариантов теста также имеет целью отобразить оцененные параметры на общую шкалу.

Цель выравнивания – разместить на общую шкалу меры испытуемых, выполнивших различные варианты теста. Цель создания банка заданий – разместить на общую шкалу параметры заданий для выполняемых различных вариантов теста. Эти цели часто связаны и достигаемы параллельно.

Линейное выравнивание – это процедура преобразования в новый промежуток с помощью линейного преобразования и приравнивания стандартных Z-показателей для испытуемых с одинаковым уровнем подготовки, выполнившим различные варианты теста:

y=A\cdot x+B,\\A=\frac{\sigma_y}{\sigma_x},B=\bar y-\frac{\sigma_y}{\sigma_x}\bar x.

где x- балл испытуемого по первому варианту, \bar x и \sigma_x- среднее значение и среднее квадратичное отклонение баллов по этому варианту; y,\bar yи \sigma_y- аналогичные параметры для второго варианта.

Главная задача IRT – шкалирование тестов и испытуемых. Цель – разница в успешности задания не должна зависеть от сложности задания и должна определяется только способностями, уровнем обученности испытуемого. В основной модели (Раша) этой теории, отношение трудности заданий не зависит от уровня способности испытуемого.

В модели IRT уровни подготовленности испытуемых и уровни трудности заданий теста представимы с помощью единой метрической шкалы (с одинаковой точностью измерения) – шкалы логитов. Для каждого варианта теста – со своей шкалой: шкала логитов является интервальной, не имеет абсолютного нуля. Поэтому эта шкала позволяет перенести оценки параметров и испытуемых, и заданий в единую шкалу и выровнять показателей.

При этом происходит связывание двух тестовых вариантов с помощью их общей части, а общих испытуемых – с помощью испытуемых, выполнивших оба варианта теста.

Процедуры выравнивания:

  • автономная калибровка всех вариантов и последующее преобразование мер в общую шкалу;
  • параллельная калибровка всех вариантов и получение мер в общей шкале;
  • автономная калибровка всех вариантов, фиксация общих параметров и последовательное преобразование всех параметров в общую шкалу.

При конструировании качественного теста, нужно получить характеристические кривые заданий теста, которые путем анализа позволяют выбраковывать избыточные задания. Если этих кривых нет, то следует регулировать задания недостающей трудности, приводя к равномерному заполнению интервала шкалы логитов от –6 до +6. Это осуществляется итерационным добавлением (убавлением) заданий требуемой трудности, например, пока разработчик не останется доволен распределением результатов.

6.3. Сертификация аттестационных тестов

Цель сертификации – повышение качества образования с помощью повышения качества тестирования, идентификация уровня качества сертифицируемых материалов, разработка рекомендаций по их эволюции.

Сертификацию осуществляет Центр сертификации качества педагогических тестовых материалов, эксперты и программные средства.

Объекты и совокупности сертификации:

  • тестовые задания (варианты тестов);
  • автоматизированные системы (базы) и компьютерные банки тестовых заданий;
  • методики и технологии тестирования;
  • инструментальные средства (оболочки) для генерации, предъявления и оценки тестовых заданий (тестов);
  • программы математико-статистической обработки результатов тестирования;
  • спецификация и другая сопроводительная документация к тесту (методика генерации варианта, система и шкала оценивания, ключи ответов и др.).

Для сертификации аттестационного теста, его содержание должно полностью быть релевантным целям разработки, основная из которых – отображение требований ФГОС в части содержания теста, его полноты, пропорциональности, структуры, однородности, значимости, корректности, валидности и др.

Статистические данные о результатах тестирования, выполнения задания включают, как правило, распределение ответов всех испытуемых (процент) по дидактическим единицам (кодам), баллам; процент испытуемых выполнивших полностью, частично выполнивших, выполнивших неправильно, не приступавших и другие параметры.

< Лекция 5 || Лекция 6: 123
Александр Горшков
Александр Горшков

есть желание заново пройти курс "Тестирование в современном высшем образовании"

 

 

Анджелика Шарапова
Анджелика Шарапова

Оценки по каким дисциплинам идут в приложение к диплому по профессиональной переподготовке "Современные образовательные технологии"?

Дмитрий Сафонов
Дмитрий Сафонов
Россия, Балаково, СОШ 22, 2007
Юлия Пындык
Юлия Пындык
Россия, Выкса г, школа 9, 2013