Методические рекомендации к практическим и лабораторным занятиям по дисциплине СОВРЕМЕННЫЕ СРЕДСТВА ОЦЕНИВАНИЯ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ

---

ГОУ ВПО «Арзамасский государственный педагогический институт

имени А.П. Гайдара»

М.М. Шалашова

И.Ю. Троицкая

Э.В. Тихонова

Э.Г. Патрикеева

Е.Н. Трухманова

Методические рекомендации к практическим и лабораторным занятиям по дисциплине

СОВРЕМЕННЫЕ СРЕДСТВА ОЦЕНИВАНИЯ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ

Арзамас

2007

УДК

ББК

Печатается по решению редакционно-издательского совета

«Арзамасский государственный педагогический институт

им. А.П. Гайдара»

Ш Шалашова М.М., Троицкая И.Ю., Тихонова Э.В., Патрикеева

Э.Г., Трухманова Е.Н.

Методические рекомендации к практическим и лабораторным занятиям по дисциплине «Современные средства оценивания результатов обучения»: – Арзамас: АГПИ, 2007. – 30 с.

В работе представлены методические рекомендации к практическим и лабораторным занятиям по дисциплине Современные средства оценивания результатов обучения для студентов гуманитарных факультетов очной форм обучения.

УДК

ББК

© Шалашова М.М., Троицкая И.Ю.,

Тихонова Э.В., Патрикеева Э.Г.,

Трухманова Е.Н.

© Арзамасский государственный

педагогический институт

им. А.П. Гайдара

Оглавление

		стр.
Тема 1 Тема 2 Тема 3 Тема 4 Тема 5 Тема 6 Тема 7	Введение ………………………………………………………… Содержание разделов дисциплины «Современные средства оценивания результатов обучения» …………………………… Понятие о качестве образования. Оценка как элемент управления качеством образования…………………………… История развития системы тестирования в России и за рубежом ……………………………………………………… Психолого-педагогические аспекты тестирования ………….. Педагогические тесты. Термины и определения …………….. Виды тестов и формы тестовых заданий ……………………… Лабораторный практикум № 1 ……………………………… Контрольно-измерительные материалы и интерпретация результатов тестирования ……………………………………… Лабораторный практикум № 2 ……………………………… ЕГЭ и качество образования …………………………………… Лабораторный практикум № 3 ……………………………….. Перечень примерных заданий для самостоятельной работы ………………………………… Вопросы к зачету ………………………………………………..	4 5 7 8 9 10 11 12 18 18 25 26 30 30

Введение

Сегодня перед всеми участниками образовательного процесса стоит проблема повышения качества образования. Под качеством понимается соответствие предмета некоторым заданным стандартам. По отношению к сфере образования качество представляет собой тот нормативный уровень, которому должен соответствовать обучающийся. Однако как определить, являются ли услуги школы или вуза качественными? Следовательно, остро встает проблема разработки методологии и принципов оценивания результатов обучения. Решение данной задачи требует серьезных исследований, координации действий всех участников образовательного процесса. Для того, чтобы познакомить выпускников вузов с современными средствами оценки достижений учащихся, теоретическими основами тестового контроля разработана и внедрена в учебный процесс дисциплина «Современные средства оценивания результатов обучения».

Студент, изучивший данный предмет, должен знать:

- историю и современное состояние системы тестирования в России и за рубежом; традиционные и современные подходы к оценке учебных достижений;

- особенности тестовой технологии, виды и типы тестов, формы тестовых заданий, методы оценивания результатов тестирования;

- нормативные документы, регламентирующие проведение ЕГЭ;

- процедуру проведения тестирования.

Должен уметь:

- давать экспертную оценку тестовым заданиям и тесту в целом, использовать на практике тесты разных видов;

- проводить тестирование и анализировать полученные результаты в рамках классической теории и теории I RT.

Должен овладеть навыками разработки тестовых заданий по своему предмету, обработки результатов тестирования.

Содержание разделов дисциплины

«Современные средства оценивания результатов обучения»

1. Понятие о качестве образования. Оценка как элемент управления качеством. Традиционные и новые средства оценки результатов обучения.

Понятие о качестве образования. Оценка как элемент управления качеством. Показатели качества образования. Оценка эффективности и качества образования. Мониторинг качества образования.

Традиционные и новые средства оценки результатов обучения. Виды контроля (входной, текущий, итоговый). Формы организации контроля. Оценка, ее функции. Связь оценки и самооценки.

2. История развития тестирования в России и за рубежом.

Возникновение тестирования. Ф. Гальтон – родоначальник тестового движения. Тесты Дж. Кеттела, А. Бине, Т. Симона, Дж.Фамера. Деление тестов на педагогические и психологические. Первые психологические тесты Э. Торндайка. Современное развитие тестологии в Европе, Японии, Канаде, США. Современная теория тестов. История его создания.

Развитие тестирования в России. Начало развития тестирования в рамках педологии. Период игнорирования тестов в 70-е годы 20 в. Современные центры тестирования.

3. Психолого-педагогические аспекты тестирования

Роль психологической подготовки к тестированию. Социально-этические аспекты тестирования. Место педагогических и психологических измерений в образовании. Таксономия образовательных целей и результаты образования. Подходы к структурированию учебных достижений. Педагогическое и психологическое тестирование. Изучение динамики психического и личностного развития в образовательном процессе. Использование педагогических и психологических тестов в учебном процессе.

4. Педагогические тесты. Термины и определения.

Педагогический контроль, предмет и объект контроля. Принципы педагогического контроля.

Понятийный аппарат тестологии. Понятие теста. Тестовое задание. Классическая теория тестов и теория моделирования и параметризации педагогических тестов. Дискриминационная способность заданий. Валидность, надежность теста. Гомогеннность и гетерогенность. Тестовая искушенность, генерализация. Компьютерное тестирование. Адаптированное компьютерное тестирование.

5. Виды тестов и формы тестовых заданий

Классификация тестов по разным основаниям. Зависимость видов и форм тестов от специфики учебной дисциплины. Основные виды педагогических тестов: критериально-ориентированный (КОРТ) и нормативно-ориентированный (НОРТ), их сопоставление. Тематические тесты, рубежные, итоговая аттестация.

Тестовые задания открытой и закрытой формы. Требования к заданиям в тестовой форме. Определение целей тестирования. Эмпирическая проверка и статистическая обработка результатов. Структура тестового задания. Принципы отбора содержания. Критерии оценки содержания теста. Экспертиза качества содержания. Принципы отбора ответов. Соотношение форм заданий и вида проверяемых знаний, умений, навыков.

6. Контрольно-измерительные материалы (КИМЫ) и интерпритация результатов тестирования.

Педагогические измерения. Шкалирование результатов тестирования. Статистические характеристики теста. Стандартизация теста. Вариативность тестов. Создание параллельных вариантов. Фасет. Пакеты прикладных программ обработки и конструирования тестов.

7. ЕГЭ и качество образования. Организационно-технологическое обеспечение ЕГЭ.

ЕГЭ как одно из средств повышения качества общего и педагогического образования. Задачи ЕГЭ: расширение доступности высшего образования, снижение психологической нагрузки на выпускников общеобразовательных учреждений, объективизация и унификация требований к общеобразовательной подготовке поступающих в вузы. Преимущество ЕГЭ перед другими формами контроля – достоверность, объективность. Надежность полученных результатов.

Организационные основы ЕГЭ. Требования к пунктам проведения. Получение и использование экзаменационных материалов. Процедура и правила проведения. Инструкция по проведению ЕГЭ. Инструкция для учащихся. Порядок проверки ответов на задания различных видов. Работа конфликтной комиссии по рассмотрению апелляций. Информационная безопасность при организации и проведении ЕГФ. Структура КИМов ЕГЭ: задания типа А. В. С.

8. Содержание и структура тестовых заданий по конкретному предмету.

Выявление типовых тестовых заданий ЕГЭ по конкретному предмету. Обобщенные способы выполнения типовых тестовых заданий. Разработка занятий по подготовке ЕГЭ по конкретному предмету.

Тема 1. Понятие о качестве образования. Оценка как элемент управления качеством образования.

Теоретические вопросы.

I. Понятие о качестве образования.

1. Понятие «качество» в широком и узком смысле слова.

2. Качество образования. Показатели качества образования.

3. Управление качеством образования. Мониторинг качества образования.

II. Оценка как элемент управления качеством образования.

4. Понятия «отметка» и «оценка».

5. Достоинства и недостатки традиционной системы оценивания результатов обучения.

6. Контроль как основной элемент управления качеством образования.

III. Традиционные и новые средства оценки результатов обучения.

7. Оценка, отметка и балл в учебно-воспитательном процессе.

8. Виды педагогической оценки.

9. Типичные субъективные ошибки оценивания.

10. Влияние оценки на самооценку учащегося.

Практические задания.

1. Заполните таблицу:

Педагогическая оценка: ее достоинства и недостатки

Достоинства	Недостатки

Литература

1. Максимов В.Г. Педагогическая диагностика в школе: Учеб. пособие для студ. высш. пед. учеб. завед. – М.: Издательский центр «Академия», 2002.

2. Матрос Д.Ш., Полев Д.М., Мельникова Н.Н. Управление качеством образования на основе новых информационных технологий и образовательного мониторинга. – М.: Педагогическое общество России, 2001.

3. Фридман Л.М., Кулагина И.Ю. Психологический справочник учителя. – М.: Просвещение, 1991.

4. Шалашова М.М. Современные средства оценивания результатов обучения. – Арзамас: АГПИ, 2005.

5. Якунин В.А. Педагогическая психология. – СПб.: Изд-во Михайлова В.А., 2000.

Тема 2. История развития системы тестирования в России

и за рубежом

Теоретические вопросы

1. Предыстория возникновения тестов (Др. Египет, Китай, Др. Греция)

2. Френсис Гальтон (1822 – 1911) – родоначальник тестового движения.

3. Тесты умственных способностей Джеймса Кеттела (1860 – 1904).

4. Развитие тестологии в работах Альфреда Бине (1860 – 1911).

5. Устные и письменные формы контроля в конце XIX века. Первые педагогические тесты.

6. Отношение к оценке знаний в России в конце XIX – начале XX века. Педология. Период игнорирования тестов.

7. Использование тестирования в учебно-воспитательном процессе на современном этапе. Централизованное тестирование.

Практические задания

1. Выделить специфические особенности современной системы образования за рубежом (Америка, Германия, Великобритания, Китай и др.) (Образование за рубежом. Сб. Статей. – М.: Центр тестирования, – 2003).

2. Проанализировать статью «Тестирование в США «за» и «против» (Кн. Образование за рубежом. Сб. статей. – М.: Центр тестирования, – 2003) Ответить на вопросы:

а) Основные аргументы в пользу проведения всеобщего ежегодного тестирования;

б) Основные аргументы, предъявляемые к существующей системе тестирования;

в) Альтернативы тестированию.

Литература

1. Ждан А.Н. История психологии: от античности до наших дней. – М.: Педагогическое общество России, 2001.

2. Марцинковская Т.Д. История детской психологии. – М.: ВЛАДОС, 1998.

3. Образование за рубежом. Сб. статей. – М.: Центр тестирования, 2003.

4. Степанов С.С. Век психологии: имена и судьбы. – М.: Изд-во Эксмо, 2002.

5. Фридман Л.М., Кулагина И.Ю. Психологический справочник учителя. – М.: Просвещение, 1991.

6. Шалашова М.М. Современные средства оценивания результатов обучения. – Арзамас: АГПИ, 2005.

Тема 3. Психолого-педагогические аспекты тестирования

Теоретические вопросы

1. Педагогическое измерение. Содержание понятия «измерение» Цель педагогических измерений. ( Ист. 1, с. 64; Ист. 6)

2. Основные понятия в педагогической теории измерений (задание в тестовой форме, тестовое задание, педагогический тест). Отличительные особенности композиции заданий в тестовой форме» и «педагогического теста как системы». Основные требования к заданиям в тестовой форме. (Ист. 4; 6).

3. Основные научные требования к тестам (надежность, валидность достоверность) (Ист. 3; 6).

4. Педагогическое и психологическое тестирование в учебном процессе:

а) сходство и различие педагогических и психологических тестов;

б) цели и задачи педагогического и психологического тестирования (Ист. 3; Ист. 6).

5. Использование результатов педагогических и психологических тестов в учебно-воспитательном процессе. Соотношение между оценками психологического и педагогического мониторинга. Технология прогнозирования учебно-воспитательного процесса. (Ист.2 – стр. 110, стр. 116-120).

Темы для рефератов

1. Роль психологической подготовки детей к тестированию.

2. Социально-этические требования к проведению тестирования (психологического, педагогического).

Практические задания.

1. Работа с психологическими методиками на определение уровня развития познавательной сферы ученика;

2. Работа с психологическими методиками на определение уровня личностного развития ученика.

Литература

1. Максимов В.Г. Педагогическая диагностика в школе: Учеб. пособие для студ. высш. пед. учеб. завед. – М.: Издательский центр «Академия», 2002.

2. Матрос Д.Ш., Полев Д.М., Мельникова Н.Н. Управление качеством образования на основе новых информационных технологий и образовательного мониторинга. – М.: Педагогическое общество России, 2001.

3. Немов Р.С. Психология: Учеб. Для студ. Высш. Пед. Учеб. Заведений: В 3 кн. – 3-е изд. – М.: ВЛАДОС, 2000. – Кн. 3: Психодиагностика. Введение в психологическое исследование с элементами математической статистики.

4. Рудаков О.В. «Типологизация педагогических тестов и заданий в тестовой форме //Всероссийский научно-методич. журнал «Вопросы тестирования в образовании. – М.: Цент тестирования Минобразования России, 2003.

5. Фридман Л.М., Кулагина И.Ю. Психологический справочник учителя. М.: Просвещение, 1991.

6. Шалашова М.М. Современные средства оценивания результатов обучения. – Арзамас: АГПИ, 2005.

7. Якунин В.А. Педагогическая психология. – СПб.: Изд-во Михайлова В.А., 2000.

Тема 4. Педагогические тесты. Термины и определения.

Теоретическая часть.

1. Контроль в учебно-воспитательном процессе. Функции и виды педагогического контроля. Специфика тестовых заданий в разных видах контроля. (Ист. 6)

2. Формы педагогического контроля. Принципы педагогического контроля. (Ист. 1 – с. 79; Ист. 6)

3. Совершенствование системы педагогического контроля на современном этапе (критическое осмысление, использование технических средств и тестов). (Ист. 6)

4. Педагогический тест как средство контроля знаний. Основные преимущества качественных тестов. Общепедагогические основы использования методов тестирования в школе. (Ист. 6)

5. Содержание тестовых заданий и теста. Основные принципы отбора содержания теста. (Ист. 1 – с. 93; Ист. 6)

6. Понятия «трудность» и «сложность» учебного материала. «Трудность» задания в тестовой форме. Дифференцирующая способность задания. (Ист. 6)

Темы для рефератов

1. Общая методика разработки педагогических тестов В.С. Аванесова. (Ист. 1 – с. 84 и др.)

2. Классическая теория тестов. Теория параметризации и моделирования (IRT). (Ист. 6 и др.)

Практическая часть.

Заполните таблицу:

Использование тестирования в учебно-воспитательном процессе

Достоинства	Недостатки

Литература

1. Максимов В.Г. Педагогическая диагностика в школе: Учеб. пособие для студ. высш. пед. учеб. завед. – М.: Издательский центр «Академия», 2002.

2. Матрос Д.Ш., Полев Д.М., Мельникова Н.Н. Управление качеством образования на основе новых информационных технологий и образовательного мониторинга. – М.: Педагогическое общество России, 2001.

3. Майоров А.Н. Теория и практика создания тестов для системы образования. – М., 2000.

4. Мельникова М.Б. Теория и практика конструирования педагогических тестов. – М., 2002.

5. Рудаков О.В. «Типологизация педагогических тестов и заданий в тестовой форме //Всероссийский научно-методич. журнал «Вопросы тестирования в образовании. – М.: Цент тестирования Минобразования России, 2003.

6. Шалашова М.М. Современные средства оценивания результатов обучения. – Арзамас: АГПИ, 2005.

Тема 5. Виды тестов и формы тестовых заданий

Теоретическая часть

1. Различные подходы к классификации педагогических тестов. Использование тестов в учебно-воспитательном процессе (Ист. 3; Ист. 4).

2. Формы тестовых заданий (открытые, закрытые, на установление соответствия, на установление правильной последовательности). Общие требования к заданиям в тестовой форме (Ист.1; 3; 4).

3. Экспертиза качества содержания теста. Апробация теста. Цель апробации. Процедура апробации (Ист. 4).

Литература

1. Максимов В.Г. Педагогическая диагностика в школе: Учеб. Пособие для студ. высш. пед. учеб. завед. – М., 2002.

2. Мельникова М.Б. Теория и практика конструирования педагогических тестов. – М., 2002.

3. Рудаков О.В. «Типологизация педагогических тестов и заданий в тестовой форме //Всероссийский научно-методич. журнал «Вопросы тестирования в образовании. – М.: Цент тестирования Минобразования России, 2003.

4. Шалашова М.М. Современные средства оценивания результатов обучения. – Арзамас: АГПИ, 2005.

Лабораторный практикум № 1

Задание 1.

Проанализировать предложенный ниже материал и ответить на вопросы:

1. Требования к заданиям в тестовой форме.

2. Основные элементы заданий закрытой формы.

3. Дистракторы. Правила формулировки дистракторов.

4. Требования к ответам и основной части тестового задания.

Задание 2. Составить примеры заданий в тестовой форме закрытого типа по конкретному предмету, используя различные принципы композиции ответов к заданиям закрытой формы:

· противоречия,

· противоположности,

· однородности,

· кумуляции,

· сочетания,

· градуирования,

· удвоенного противопоставления,

· фасетности,

· импликации.

Указать используемый принцип.

Дополнительный материал к лабораторному практикуму № 1.

К заданиям в тестовой форме предъявляются следующие требования:

· логическая форма высказывания;

· правильность формы;

· краткость;

· наличие определенного места для ответов;

· правильность расположения элементов задания;

· одинаковость правил оценки ответов;

· одинаковость инструкции для всех испытуемых;

· адекватность инструкции форме и содержанию задания.

Правильная форма заданий – это средство упорядочения и эффективной организации содержания теста. Форма заданий правильная, если она позволяет точно выразить содержание, понятна для всех испытуемых, исключает возможность появления ошибочных ответов по формальным признакам.

Краткость заданий в тестовой форме вытекает из преимуществ логической формы высказывания. Краткость обеспечивается тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться ясности смысла содержания задания.

В заданиях с выбором ответов – это код (цифры или буквы) требуемого ответа, из числа прилагаемых к каждому заданию. В заданиях открытой формы ответ пишется вместо прочерка, следуемого за текстом задания. В заданиях на установление соответствия ответы или пишутся в специально отведенной для этого строке ниже текста каждого задания, или фиксируется с помощью так называемой «мыши» при компьютерном тестировании.

Одинаковость правил оценки ответов в рамках принятой формы является важным средством организации тестирования. Ни одному испытуемому не дается никаких преимуществ перед другим, все отвечают на одни и те же задания, всем дается одинаковое время. Правила оценки определяются заранее и абсолютно одинаково применяются ко всем испытуемым.

Тестовые задания отличаются от нетестовых не только по содержанию, но и по стилю построения предложения. Из тестового задания полностью устраняется двусмысленность.

Во всяком тестовом задании заранее определяется, что однозначно считается ответом на задание, с какой степенью полноты должен быть правильный ответ. Не допускается определение понятия через перечисление элементов, не входящих в него.

Недопустимо существование двух исключающих ответов на одно и то же задание теста. Если испытуемым дается инструкция: «Обведите кружком номер правильного ответа», а затем в одном из ответов утверждается, что правильного ответа нет, то это порождается пример непоследовательности мышления разработчика теста.

Для повышения эффективности тест предварительно проходит апробацию на типичной выборке испытуемых.

Задания с выбором одного правильного ответа

(задания закрытой формы)

Достоинства:

- быстрота тестирования

- простота подсчета первичных баллов

- возможность более полно охватить содержание

- универсальность

Как правило, выделяются два вида заданий закрытой формы:

1) задания с выбором одного правильного ответа;

2) задания с выбором всех правильных ответов.

Не рекомендуется использовать задания с выбором неправильного ответа. Такие задания оправданы лишь в некоторых специальных ситуациях, например, при изучении некоторых правил техники безопасности, жизненных и производственных ситуаций, где необходимо проверить знания того, чего нельзя делать ни при каких обстоятельствах. В других случаях такие задания лучше не использовать.

К основным элементам заданий с выбором одного правильного ответа относятся: инструкция, основная часть и готовые ответы, сформулированные преподавателем. Среди ответов в данном случае правильным является только один.

Неправильные, но похожие на правильные и потому правдоподобные ответы называются дистракторами. Число дистракторов колеблется от одного до пяти, хотя в отдельных случаях, когда есть такая необходимость, может достигать шести-семи.

Тестовое задание считается хорошо работающим, если знающие ученики выполняют его правильно, а незнающие выбирают любой из ответов с равной вероятностью. Это обеспечивается, во-первых, ясностью формулировки основной части задания, а, во-вторых, одинаковой правдоподобностью дистракторов, которые должны быть равновероятно привлекательны для слабых учеников.

Ответы и основная часть заданий должны удовлетворять ряду требований, к которым обычно относят следующие:

· в тексте задания не должно быть двусмысленности или неясности формулировок;

· основная часть задания должна быть предельно краткой (обычно одно предложение из семи-восьми слов) и иметь простую синтаксическую конструкцию;

· основной текст следует включать в основную часть задания, оставляя для ответа не более двух-трех наиболее важных, ключевых слов для данной проблемы;

· частота выбора одного и того же номера правильного ответа должна быть примерно одинаковой, либо номер правильного ответа выбирается в случайном порядке;

· основная часть задания должна быть освобождена от всякой посторонней для данной проблемы информации;

· как правило, основная часть задания формулируется в форме утверждения, которое обращается в истинное или ложное высказывание после подстановки одного из ответов;

· из ответов необходимо исключить все повторяющиеся слова путем ввода их в основной текст задания;

· при формулировке дистракторов не рекомендуется использовать без необходимости слова: «все», «ни одного», «никогда», «всегда» и т.д. и выражения: «ни один из перечисленных», «все перечисленные» и т.д., так как они могут способствовать угадыванию правильного ответа;

· все дистракторы должны быть равновероятно привлекательны для испытуемых, не знающих правильного ответа;

· все ответы должны быть параллельными по конструкции и грамматически согласованными с основной частью задания;

· ответ на одно задание не должен служить ключом к правильным ответам на другие задания теста;

· ни один из дистракторов не должен являться частично правильным ответом, превращающимся при определенных дополнительных условиях в правильный ответ.

Принципы композиции заданий закрытой формы

1. Принцип противоречия. Данный принцип является самым распространенным при создании заданий с двумя ответами. При использовании принципа противоречия ответы подбираются так, чтобы второй отрицал первый. При этом отрицание достигается, главным образом, посредством использования в одном из ответов отрицательной частицы "не", а также использования отрицающих предлогов и слов.

Пример: В СЛОЖНЫХ РАЗРЕЗАХ ГРАНИЦА МЕЖДУ СЕКУЩИМИ ПЛОСКОСТЯМИ

1) изображается

2) не изображается

2. Принцип противоположности. При противоположности – один содержательный ответ заменяется другим, антонимичным по смыслу. Возможность промежуточных состояний при использовании принципа противоречия позволяет увеличить число ответов, что снижает вероятность угадывания.

Пример: ГРАФИК НЕЧЕТНОЙ ФУНКЦИИ СИММЕТРИЧЕН ОТНОСИТЕЛЬНО

1)оси абсцисс 2)оси ординат 3) начала координат

В другом варианте противоположность вводится внутрь самого ответа.

Пример: ПРИ ОСТРОМ ИНФАРКТЕ МИОКАРДА АРТЕРИАЛЬНОЕ ДАВЛЕНИЕ

1) повышается

2) понижается

3) сначала повышается, затем понижается

3. Принцип однородности. Подбираются такие ответы, которые относятся к одному роду, виду, или отображают различные стороны, грани явления. Этот принцип применяется в заданиях с разным числом ответов.

Пример: КОСТИТУЦИОННЫЙ КОНТРОЛЬ ВО ФРАНЦИИ ОСУЩЕСТВЛЯЕТ

1) Государственный совет

2) Конституционный совет

3) Конституционный суд

При создании заданий по принципу однородности существенным фактором усиления их эффективности является использование сходных по написанию или звучанию букв, цифр, знаков, слов и словосочетаний. Это позволяет сделать ответы правдоподобными и логически безупречными.

4. Принцип кумуляции. Этот принцип означает, что содержание каждого ответа вбирает в себя (аккумулирует) содержание предыдущего.

В заданиях, построенных по принципу кумуляции, учащиеся, приученные давать полные и правильные ответы, выбирают обычно последний ответ, ошибочно полагая, что он – самый правильный. Поэтому при разработке заданий, соответствующих этому принципу, полезно иметь это ввиду и не всегда ставить правильный ответ на последнее место.

ПРИМЕР: К УГЛЕВОДАМ ОТНОСИТСЯ:

1) глюкоза

2) глюкоза, фруктоза

3) глюкоза, фруктоза, сахароза

4) глюкоза, фруктоза, сахароза, гликоген

5) глюкоза, фруктоза, сахароза, гликоген, инсулин

5. Принцип сочетания. Используется сочетание слов (знаков) по два, три, четыре в каждом ответе.

Пример: ГОРМОНАМИ ПОДЖЕЛУДОЧНОЙ ЖЕЛЕЗЫ ЯВЛЯЮТСЯ

1) инсулин и глюкагон

2) инсулин и тироксин

3) инсулин и адреналин

6. Принцип градуирования. Прием градуирования заключается в упорядоченном использовании ответов, выраженных числами или словами, отражающими возрастное (убывание) какого-либо качества или свойства. При этом при построении ответов необходимо придерживаться правила постепенного нарастания (убывания) величины показателя от первого ответа к последнему.

Пример: ЛИЦЕВОЙ ОТДЕЛ ЧЕРЕПА ЧЕЛОВЕКА ОБРАЗОВАН

1) 8 костями 2) 10 костями 3) 12костями 4) 15 костями

7. Принцип удвоенного противопоставления (принцип двойной альтернативы). Этот принцип применяется преимущественно в заданиях с четырьмя ответами. При конструировании ответов используется противопоставление, построенное на принципе противоречия или принципе противоположности.

Пример: ДЛЯ РАЗВИТЫХ СТРАН ХАРАКТЕРНЫ:

1)низкая рождаемость и низкая смертность

2)высокая рождаемость и низкая смертность

3)высокая рождаемость и высокая смертность

4)низкая рождаемость и высокая смертность

8. Принцип фасетности – главный принцип разработки содержания заданий закрытой формы. Фасет – это форма записи нескольких вариантов одного и того же задания. Применение принципа фасетности позволяет создавать сразу несколько вариантов одного и того же задания, а, следовательно, и вариантов теста.

Пример: {дезоксирнбоза} ОТНОСИТСЯ К

1) гексозам 3) пентозам

2) тетрозам 4) гептозам

Задания с выбором нескольких правильных ответов

Инструкция для испытуемых: Выберите все правильные ответы. При автоматизированном контроле: «Отвечая на задание теста, нажимайте на клавиши с номерами всех правильных ответов».

Пример: К ФИЛОСОФСКИМ ПОНЯТИЯМ ОТНОСЯТСЯ:

1)атом 6) знание

2)бытне 7)свобода

3)развптие 8) качество

4)кулыура 9) революция

5)диалектика 10) количество

В таких заданиях используется практически только один принцип композиции – принцип однородности ответов. Все приведенные примеры связаны с идеей проверки так называемых классификационных знаний, т.е. проверки знаний принадлежности отдельных видов или объектов к тому или иному роду, виду, классу. Если задание это позволяет, то можно использовать принцип фасетности его содержания.

Испытуемые должны быть проинструктированы, что в любом задании правильным может оказаться любое количество ответов – от одного до всех предложенных. Поэтому эти задания по форме и содержанию труднее, чем задания с выбором одного правильного ответа: при выполнении таких заданий испытуемым приходится определять не только правильные ответы, но и оценивать полноту своего ответа. Кроме того, снижается вероятность угадывания.

Пример: ФУНКЦИИ {белков, углеводов} в организме:

1) питательная 5) энергетическая

2) резервная 6) каталитическая

3) транспортная 7) гормональная

4) строительная

Тема 6. Контрольно-измерительные материалы и интерпретация результатов тестирования

Теоретическая часть

1. Шкалы в педагогических измерениях. Типы измерительных шкал (номинативная, порядковая, интервальная, шкала отношений). (Ист. 1, с. 65; Ист. 4).

2. Шкалирование в классической теории тестирования. Достоинства и недостатки Z-шкалы. Шкалы стандартных оценок (Ист. 4).

3. Стобалльная шкала. Стандартизация и нормы (Ист. 4).

Литература

1. Максимов В.Г. Педагогическая диагностика в школе: Учеб. пособие для студ. высш. пед. учеб. завед. – М.: Издательский центр «Академия», 2002.

2. Майоров А.Н. Теория и практика создания тестов. – М.: Народное образование, 2000.

3. Рудаков О.В. «Типологизация педагогических тестов и заданий в тестовой форме //Всероссийский научно-методич. журнал «Вопросы тестирования в образовании. – М.: Цент тестирования Минобразования России, 2003.

4. Шалашова М.М. Современные средства оценивания результатов обучения. – Арзамас: АГПИ, 2005.

Лабораторный практикум № 2

Задание № 1. Проанализировать предложенный ниже материал и ответить на вопросы:

1. Типы заданий открытой формы. Элементы композиции заданий открытой формы.

2. Общие требования к заданиям на дополнение. Принципы композиции заданий на дополнение.

3. Задания на установление соответствия. Общие требования к заданиям на установление соответствия.

4. Основные элементы композиции заданий на установление соответствия.

5. Задания на установление правильной последовательности. Элементы композиции заданий на установление правильной последовательности.

Задание № 2. Составить примеры заданий в тестовой форме по конкретному предмету:

А) открытого типа (на дополнение; задания со свободно конструируемым ответом).

Б) на установление соответствия;

В) на установление правильной последовательности.

Дополнительный материал к лабораторному практикуму № 2.

Задания открытой формы

В заданиях открытой формы готовые ответы не даются, их должен получить или придумать сам испытуемый. Задания открытой формы бывают двух типов:

· задания на дополнение;

· задания со свободно конструируемым ответом.

Задания на дополнение формулируются в виде утверждений, которые превращаются в истинное высказывание, если ответ правильный, и в ложное высказывание, если ответ неправильный. Ответ должен быть достаточно кратким, не превышающим двух-трех слов.

Отличительная особенность заданий на дополнение – они должны порождать только один, запланированный разработчиком, правильный ответ. В силу однозначности правильного ответа проверка результатов носит объективный характер. Однако на практике неоднозначность ответов затрудняет проверку результатов выполнения.

Общие требования к заданиям на дополнение:

· каждое задание, как правило, должно быть нацелено только на одно дополнение, место для которого обозначается прочерком, точками или рамкой;

· прочерк ставится на месте ключевого элемента, знание которого является наиболее существенным для контролируемого материала;

· дополнение лучше выносить в конец предложения. Ответ должен генерироваться по мере чтения задания;

· все прочерки рекомендуется делать одной длины;

· текст задания должен обладать предельно простой синтаксической конструкцией и содержать минимальное количество информации, необходимое для правильного выполнения задания.

Принципы композиции заданий на дополнение.

1. Принцип логической определенности. Задание является логически определенным, если оно способно продуцировать у знающих учеников правильный ответ и если содержание и форма задания помогают организовать мыслительный процесс нахождения такого ответа.

2. Принцип фасетности. Использование фасетов помогает провести проверку знаний сразу у всех испытуемых, без риска списывания и тому подобных искажений педагогической информации.

Пример: ТОК СИЛОЙ {!}, ПРОХОДЯ ПО ПРОВОДНИКУ {R} ЗА ВРЕМЯ {t} СЕКУНД, ВЫДЕЛЯЕТ__________________ ДЖОУЛЕЙ ТЕПЛА.

3. Принцип обратимости. Задания, построенные по принципу обратимости, полезно использовать в различных вариантах тестов, способствуя созданию параллельных вариантов;

Пример: ОПЕРАЦИЯ НАХОЖДЕНИЯ ПРОИЗВОДНОЙ НАЗЫВАЕТСЯ __________ .

Пример: ДИФФЕРЕНЦИРОВАНИЕМ НАЗЫВАЕТСЯ ОПЕРАЦИЯ НАХОЖДЕНИЯ _____________________.

Принцип обратимости необходимо дифференцировать от тавтологии, которая появляется в том случае, если обратимые задания находятся в одном тесте.

4. Принцип логической соразмерности объема определяющего понятия объему определяемого. Задания на дополнение могут порождать несколько правильных, но логически несоразмерных ответов, что недопустимо с точки зрения однозначной оценки.

Пример: ПЕРВЫМ ПРЕЗИДЕНТОМ США БЫЛ_________________.

Ожидаемый ответ: «Вашингтон», но испытуемые могут дать и другие отпеты («Генерал», «Мужчина», «Уроженец штата Виржиния» и др.), которые нельзя оценить как неправильные, но их трудно приравнять к ожидавшемуся правильному ответу. Необходимо сузить объем искомого понятия:

Пример: ФАМИЛИЯ ПЕРВОГО ПРЕЗИДЕНТА США БЫЛА ____________ .

5. Принцип неотрицательности. В основе задания не рекомендуется использовать отрицательные частицы, а также определение понятия через перечисление элементов, не входящих в него.

Пример: БАНКИ НЕ СТАВЯТСЯ НА____________________

В этом заданиях испытуемые могут написать много чего и будут правы.

6. Принцип импликации. В этом случае задание состоит из двух частей: в первой – условие, во второй – заключение. Например:

Пример: ЕСЛИ ТОЧКА ЛЕЖИТ НА БИССЕКТРИСЕ УГЛА, ТО ОТ СТОРОН УГЛА ОНА______________________ .

Иногда в заданиях открытой формы используется пропуск двух и более слов (или символов). Например:

УСКОРЕНИЕ ПРЯМО ПРОПОРЦИОНАЛЬНО_________________И ОБРАТНО ПРОПОРЦИОНАЛЬНО____________________ДАННОГО ТЕЛА.

Если же дополняемые слова следуют одно за другим, то смысл задания улавливается еще труднее:

КАНТ УСМАТРИВАЛ ОСНОВНУЮ ЗАДАЧУ ФИЛОСОФСКОГО ПОЗНАНИЯ В _________________ ___________________ ЧЕЛОВЕЧЕСКИХ ЗНАНИЙ.

Затруднения с пониманием этого задания вызваны пропуском двух слов: «синтезе разнообразных». Уменьшение понимаемости задания приводит к тому, что задание плохо дифференцирует учащихся, т.е. плохо отличает их по уровню знаний. Любое задание должно пониматься с первого чтения.

В большинстве случаев пропуск для ответа ставится в конце задания. Однако, допустимы и другие случаи. Но пропуск должен стоять как можно ближе к концу задания.

Элементы композиции заданий открытой формы

Инструкция для испытуемых: ДОПОЛНИТЕ.

Иногда инструкция может быть более конкретной (особенно в языковых предметах): поставить «не» или «ни», дополнить, где требуется и т.д.

Содержательная основа задания. С помощью задания открытой формы удобно проверять знание названий, фактов, свойств, признаков, дат.

Ответы к заданиям открытой формы испытуемым не даются, они должны найти их сами и вписать в том месте, где стоит пропуск, или набрать ответ на клавиатуре.

Оценка. Обычно для оценки заданий на дополнение используется номинальная шкала: за правильный ответ испытуемый получает 1 балл, за неправильный – 0 баллов.

Открытые задания второго типа – задания со свободно конструируемым ответом. Здесь нет никаких ограничений на содержание и форму представления ответов. Учащиеся могут писать все, что угодно, за отпущенное время. Однако для объективной проверки необходимо наличие эталона, в качестве которою обычно выступает наиболее правильный ответ с описывающими его характеристиками и признаками качества.

Задания со свободно конструируемым ответом наиболее близки к традиционным контрольным заданиям. Они интересны и разнообразны в содержательном плане. С их помощью можно оценить умения, характеризующие познавательную деятельность учащихся, выявить способы решения задач, вычленить этапы мысленного процесса, проанализировать типичные ошибки.

Однако такие задания требуют значительных затрат преподавательского труда при проверке. Они нетехнологичны: проверка результатов их выполнения субъективна, а интерпретация результатов значительно затруднена. Поэтому применение таких заданий должно быть крайне ограничено.

Задания на установление соответствия

В заданиях на установление соответствия проверяется знание связей между элементами двух множеств. Такие задания позволяют проверить так называемые ассоциативные знания – знания о взаимосвязи определений и фактов, форм и содержания, о соотношении между различными предметами, свойствами, законами, формулами, датами.

Обычно слева приводятся элементы задающего множества, справа – элементы, подлежащие выбору. Каждое задание завершается строкой ответов, в которой испытуемый проставляет на месте прочерков буквы, соответствующие выбранным элементам из правого множества.

Общие требования к заданиям на установление соответствия:

• задание формулируется так, чтобы все содержание можно было выразить в виде двух множеств (столбцов) с соответствующими названиями, обобщающими все элементы столбца;

• правый столбец должен содержать хотя бы несколько дистракторов; • все дистракторы в одном задании должны быть равновероятно правдоподобны;

• элементы столбцов должны быть выбраны по одному основанию для включения только гомогенного материала в каждое задание теста;

• всё задание необходимо располагать на одной странице, не допуская переноса отдельных элементов.

Принципы композиции заданий на установление соответствия:

1. Принцип фасетности – основной принцип композиции заданий данной формы. Он позволяет заменять основные элементы задания, активизируя самостоятельную работу студентов, и исключить условия для списывания.

Пример:

Центры происхождения КУЛЬТУРА

культурных растений

1) Среднеазиатский А) кукуруза

2) Африканский Б) картофель

3) Южноамериканский В) арбуз

Г) виноград

Д)горох

Е) кофе

Ответы: 1____,2____,3____

Применение некоторых заданий повышает учебный интерес. Например, задание по комедии А.С.Грибоедова «Горе от ума»;

Пример:

РЕПЛИКИ ПЕРСОНАЖИ

1) Счастливые часов не наблюдают А) Фамусов

2) Ох! Басни – смерть моя! Б) Молчалин

3) Ей сна нет от французских книг, В) Чацкий

А мне от русских больно спится. Г) Софья

4) Дома новы, а предрассудки стары. Д) Хлестова

5) И впрямь с ума сойдешь от этих Е) Загорецкий

от одних от пансионов, школ, Ж) Скалозуб

лицеев … 3) Репетилов

Ответы: 1___, 2___, 3 __ , 4___, 5___.

Основные элементы композиции заданий на соответствие

Основные элементы композиции заданий этой формы: инструкция, названия двух столбцов, элементы этих столбцов с номерами и буквами, строку ответа.

Инструкция: УСТАНОВИТЕ СООТВЕТСТВИЕ

Названия двух столбцов должны относиться ко всем элементам представляемого класса, т.е. элементы столбца должны полностью соответствовать его названию. По возможности, названия столбцов должны быть короткими и точными, понятными для всех испытуемых с первого чтения.

Элементы столбцов выражают содержание задания. Как уже отмечалось, число элементов в правом столбце должно быть примерно в два раза больше числа элементов в левом столбце. Для идентификации элементов используются номера (для элементов левого столбца) и буквы (для элементов правого столбца).

Строка ответов композиционно завершает задание и указывает испытуемому место, куда нужно заносить ответы.

Оценка. При оценке заданий на установление соответствия используются различные подходы. При первом подходе оценка в 1 балл дается за правильное выполнение всего задания, в противном случае – 0 баллов, даже за одну допущенную ошибку. При другом подходе по одному баллу дается за каждое правильно установленное соответствие. Третий подход: за все правильные ответы давать 2 балла, за одну допущенную ошибку – 1 балл, за две ошибки и более – О баллов.

Если тест состоит из заданий разных форм, то лучше использовать первый подход к оценке: за каждое правильно выполненное задание – независимо от формы – давать 1 балл. Исключения допускаются, если есть основания считать задания на установление соответствия более важными с точки зрения проверки знания учебной дисциплины, чем задания других форм.

Основная сфера применения заданий на соответствие – это текущий и тематический контроль знаний. Также они хорошо подходят для самоподготовки и самоконтроля. Значительно реже они используются при аттестационных мероприятиях.

Задания на установление правильной последовательности

Задания на установление правильной последовательности предназначены для оценки уровня владения последовательностью действий, процессов и т.д. В задании приводятся в произвольном случайном порядке действия, процессы, элементы, связанные с определенной задачей. Испытуемый должен установить правильный порядок предложенных действий и указать его с помощью цифр в специально отведенном для этого месте (как правило, в прямоугольниках, стоящих слева перед каждым элементом задания).

Можно выделить несколько вариантов применения таких заданий.

1) последовательность исторических событий.

2) последовательность технологических действий и операций.

3) последовательность различных процессов.

4) цепочка умственных действий, образующая систему знаний, умений, навыков и представлений.

Инструкция к заданиям на установление правильной последовательности имеет вид:

Пример: УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ. СОБЫТИЙ ФЕВРАЛЯ-ОКТЯБРЯ 1917 Г.

- VI съезд РСДРП (б)

- отречение царя Николая 11

- приезд Ленина

- создание Петроградского совета

- взятие Зимнего дворца

- Корниловский мятеж

- ликвидация двоевластия

- II съезд Советов

С помощью заданий этой формы можно проверять знание не только исторического процесса, но и знание литературного, художественного, лингвистического.

Задания на установление правильной последовательности особенно эффективны на заключительной стадии профессиональной подготовки, что объясняется важной ролью алгоритмов в профессиональной деятельности. Цель введения таких заданий в учебный процесс – формирование алгоритмического мышления и алгоритмических знаний, умений и навыков. Алгоритм представляет собой систему четких правил упорядоченной деятельности. Основные требования к алгоритму: он должен быть понятен и доступен учащемуся, корректен с точки зрения цели и содержания, однозначен по трактовке и результативен в процессе осуществления заданного числа шагов. При этом однозначность предполагает наличие только одного алгоритма, соответствующего правильному ответу.

Задания на установление правильной последовательности помогают решать трудную задачу формирования структуры знаний. Дело в том, что такие задания сложнее заданий других форм. Поэтому, если испытуемые знают правильные ответы на такие трудные задания, то они должны знать ответы и на предыдущие, более легкие задания. Это и есть признак правильной структуры знаний.

Пример: РАЗБОР СЛОВА ПО СОСТАВУ

- выделить суффикс

- выделить корень

- найти основу

- подобрать однокоренные слова

- выделить окончание

- выделить приставку

Элементы композиции заданий на установление правильной последовательности

К элементам композиции заданий данной формы относят

Инструкцию к заданию, название задания, его содержание и место для ответов.

Из названия задания испытуемый узнает, о чем его спрашивают, и знание чего он должен продемонстрировать. Ключевое слово в названии лучше писать и именительном падеже.

Содержание задания включает в себя ранжируемые элементы.

Повторим, что задания этого типа проверяют не все, а только определенные знания: алгоритмические, процессуальные, процедурные, технологические (в той части, которая связана с последовательностью операций).

Место для ответов - это прямоугольники, нарисованные слева, против катания каждого элемента. В них нужно проставить соответствующие цифры (ранги).

В самом задании элементы ставятся в случайном порядке. Окончания всех слов лучше писать в именительном падеже, чтобы испытуемые не могли угадать правильный ответ по окончаниям слов.

Оценка за выполнение задания рассматриваемой формы может варьироваться в зависимости от его важности и трудности. Однако, преимущественно используется дихотомическая оценка: 1 балл дается за правильную расстановку всех рангов в задании, 0 баллов – при ошибке в ответе. Если первый ответ определен неправильно, то неправильно определяются и другие ответы.

Задания на установление правильной последовательности довольно специфичны, содержание многих дисциплин не поддается трансформации в эту форму.

Тема 7. ЕГЭ и качество образования

Теоретические вопросы

1. Единый государственный экзамен (понятие ЕГЭ; задачи ЕГЭ; причины введения ЕГЭ; его преимущества; участие регионов страны в ЕГЭ). (Ист. 1; Ист. 4)

2. Организационные основы ЕГЭ (нормативные документы, регламентирующие ЕГЭ; процедура проведения ЕГЭ; структура КИМов в ЕГЭ, задания типа А, В, С). (Ист. 1; Ист. 4)

3. Социально-педагогические аспекты ЕГЭ. (Ист. 3, с.52-53).

Литература

1. ЕГЭ. Сборник нормативных документов. М.: Центр тестирования образования России, 2002.

2. Майоров А.Н. Теория и практика создания тестов. – М.: Народное образование, 2000.

3. Развитие тестовых технологий в России. Материалы V всероссийской научно-практической конференции. М.: Цент тестирования Минобразования России, 2003 г.

4. Шалашова М.М. Современные средства оценивания результатов обучения. – Арзамас: АГПИ, 2005.

Лабораторный практикум № 3

Задание № 1. Проанализировать предложенный ниже материал и ответить на вопросы:

1. Педагогические принципы разработки содержания теста.

2. Этапы разработки педагогического теста.

3. Композиция заданий в тест.

Задание № 2. Составить систему тестовых заданий различной формы. Указать: учебную дисциплину, тему, класс (контингент испытуемых).

Дополнительный материал для лабораторного практикума № 3.

Лучшим часто считается тест, у которого содержание шире и оно охватывает более глубокие уровни знаний. Такое содержание определяется с опорой на ряд педагогических принципов.

Первый принцип разработки содержания теста – соответствие содержания теста целям тестирования.

Второй принцип – определение значимости проверяемых знаний. Принцип значимости указывает на необходимость включения в тест только тех элементов учебной программы, которые можно отнести к наиболее важным, без которых знания становятся несущественными, фрагментарными, состоящими из второстепенных элементов. Отбор значимых элементов проводится с опорой на мнения педагогов-экспертов, имеющих личный опыт преподавания и проверки знаний по интересующей учебной дисциплине.

Третий принцип – взаимосвязь содержания и формы. Начинающие разработчики тестов часто допускают ошибки несоответствия формы задания его содержанию. Главное средство предупреждения таких ошибок – овладение классификацией видов знаний. Не всякое содержание поддается выражению в форме тестового задания. Доказательства, обширные вычисления, многословные описания не поддаются представлению в тестовой форме. Из этого вытекает важный вывод – тестовую форму нельзя рассматривать как универсальную, пригодную на все случаи проверки знаний. Вместе с тем, тестирование является одной из наиболее объективных и технологичных форм проведения массового контроля знаний.

Четвертый принцип – содержательная правильность тестовых заданий. В тест включается только то содержание учебной дисциплины, которое является объективно истинным и поддается аргументации. Спорные точки зрения, вполне приемлемые в науке, не рекомендуется включать в содержание тестовых заданий.

Пятый принцип – репрезентативность содержания учебной дисциплины в содержании теста. При разработке теста обращается внимание на полноту и достаточность числа заданий для аргументированного вывода о знаниях. В самом деле, проверить знания учащихся можно по пяти-шести заданиям. Но где уверенность, что учащиеся знают остальные элементы содержания учебной дисциплины’? Путь к появлению такой уверенности лежит в наиболее полном отображении необходимости знания в заданиях теста. При создании теста обычно ставится задача отобразить в нем то основное, что отражает идею измерения уровня и структуры подготовленности учащихся, как результат образовательной деятельности. Содержание учебной дисциплины всегда шире содержания тестовых заданий. В общем случае, чем больше заданий, тем репрезентативнее могу оказаться результаты. Число заданий традиционного теста обычно бывает не меньше тридцати. Число заданий в тесте зависит, во-первых, от содержания проверяемого материала: чем больше объем проверяемых знаний, тем большее обычно требуется число заданий. Во-вторых, от вида тестов; интегративные тесты требуют меньшего числа заданий, в силу того, что для правильного решения каждого задания надо обладать знаниями различных учебных дисциплин.

Шестой принцип – соответствие содержания теста уровню современного состояния науки.

Седьмой принцип – комплексность и сбалансированность содержания теста. Тест, разработанный для итогового контроля знаний, не может состоять из материалов только одной темы, даже если эта тема является самой ключевой в учебной дисциплине. Необходимо искать задания, комплексно отображающие основные, если не все, темы учебного курса.

Восьмой принцип – системность содержания. Это означает формулирование такого содержания тестовых заданий, которое отвечало бы требованиям системности при проверке знаний. Идеальный вариант при разработке теста – когда задания не пересекаются по содержанию и по статистическим показателям между собой, но все имеют положительные корреляции с каким-либо внешним критерием знаний испытуемых.

Девятый принцип – вариативность содержания. После первого применения теста его содержание становится известным испытуемым. Испытанным в практике способом защиты тестовых результатов от возможных искажений такого рода является создание множества вариантов заданий одного и того же теста. Соответственно тесты, состоящие из вариантов заданий, называют параллельными. Они должны быть примерно равны по трудности, иметь сходные показатели вариации тестовых баллов испытуемых.

Этапы разработки педагогического теста

Планирование теста заключается в примерной раскладке процентного соотношения содержания разделов и определении необходимого количества заданий в тестовой форме различных уровней сложности исходя из важности раздела и числа часов, отведенных на его изучение в программе.

Поскольку время тестирования обычно выбирается в пределах 1.5 -2 часов, среднее время выполнения одного задания – примерно 2 минуты, то предельное количество заданий в педагогическом тесте обычно не превышает 60-80.

Краткая спецификация теста	Кол- во зада- ний
Разделы	1 раздел 20%	2 раздел 30%	3 раздел 40%	4 раздел 10%
Знания и умения
Умение давать опреде- ления (10%)	1	1	3	1	6
Знание формул (30%)	4	5	7	2	18
Умение применять формулы и законы (30%)	4	5	7		18
			2
Умение находить сход- ства и различия (20%)	2	4	5	1	12
Умение интерпретиро- вать материал на графи- ках и схемах (10%)	1	3	2	0	6
Всего	12	18	24	6	60

В соответствии со всеми установленными требованиями проводится разработка заданий в тестовой форме, причем в числе, превышающем заданное, поскольку на различных этапах задания, как правило, будут отсеиваться либо замещаться другими. После коррекции теста необходимо изменить и спецификацию, чтобы она соответствовала действительному содержанию теста.

Процедура отбора содержания теста завершается экспертизой, проводимой независимыми экспертами (не менее трех человек), не принимавшими участие в создании теста.

Процесс создания теста, его научного обоснования, переработки и улучшения можно разбить на несколько этапов:

1. Определение цели тестирования, выбор вида теста и подхода к его созданию.

2. Анализ содержания учебной дисциплины.

3. Определение структуры теста и стратегии расположения заданий.

4. Разработка спецификации теста, априорный выбор длины теста и времени его выполнения.

5. Создание тестовых заданий.

6. Отбор заданий в тест и их ранжирование согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий.

7. Экспертиза содержания тестовых заданий и теста.

8. Экспертиза формы тестовых заданий.

9. Переработка содержания и формы по результатам экспертизы.

10. Разработка методики апробационного тестирования.

11. Разработка инструкций для учеников и для преподавателей, проводящих апробацию теста.

12. Проведение апробационного тестирования.

13. Сбор эмпирических результатов.

14. Статистическая обработка результатов выполнения теста.

15. Интерпретация результатов обработки в целях улучшения качества теста. Проверка соответствия характеристик теста научно-обоснованным критериям качества.

16. Коррекция содержания и формы на основании данных предыдущего этапа. Чистка заданий и добавление новых заданий для оптимизации диапазона значений параметра трудности и улучшения системообразующих свойств заданий теста. Оптимизация длины теста и времени его выполнения на основании апостериорных оценок характеристик теста. Оптимизация расположения заданий в тесте.

17. Повторение этапа апробации для выполнения очередных шагов по повышению качества теста.

18. Интерпретация данных обработки, установление норм теста и создание шкалы для оценки результатов тестирования.

Композиция заданий в тест

1. Располагайте задания каждого типа вместе. Это дает возможность испытуемым приспособиться к данному типу заданий, а, следовательно, достаточно понимания одной инструкции для выполнения ряда заданий.

2. По возможности располагайте задания по возрастанию трудности. Это предотвратит случаи, когда слишком старательный испытуемый тратит все свое время (или слишком много времени) на выполнение задания, которое он не может выполнить, и, таким образом, решает себя возможности попытаться выполнить другие задания, по которым он мог бы получить баллы. В результате оценка его уровня подготовленности будет искажена.

3. Правильно оцените время выполнения каждого задания и всего теста в целом.

Перечень примерных заданий для самостоятельной работы

1.Составьте задания в тестовой форме с выбором одного правильного ответа (в соответствии с профилем специальности).

2.Составьте задания в тестовой форме с выбором нескольких правильных ответов (в соответствии с профилем специальности).

3. Составьте тестовые задания в тестовой форме открытой форы (в соответствии с профилем специальности).

4. Составьте задания в тестовой форме на установление правильной последовательности.

5. Интерпретируйте результаты выполненных тестовых заданий.

6. Составьте «портфолио» по данной дисциплине «Современные средства оценки результатов обучения»

7. Проведите мониторинг успеваемости в своей группе по изучаемой дисциплине.

Тематика рефератов для самостоятельной работы

1. История развития тестирования в России.

2. Система оценивания и контроль качества образования в образовательных учреждениях разного типа и уровня.

3. Современные тенденции оценивания школьных достижений.

4. Виды и функции контроля в учебном процессе.

5. Критерии отбора содержания для составления тестовых заданий.

6. Понятие «портфолио» в современном образовательном процессе.

7. Эксперимент по введению ЕГЭ: концепция, реализация, проблемы.

Вопросы к зачету

1. Понятие «качество образования». Оценка как элемент управления качеством.

2. Традиционные и новые средства оценки результатов обучения.

3. История возникновения тестирования в России.

4. Причины запрета применения тестов в России в 20-30-ые годы 20 века.

5. Функции контроля в современном учебном процессе.

6. Традиционные формы контроля. Современные средства контроля в учебном процессе.

7. Виды педагогического контроля (текущий, тематический, рубежный, итоговый контроль).

8. Место психологических и педагогических измерений в современном образовании. Задачи педагогического и психологического тестирования.

9. Дать определение следующим понятиям: тест, предтестовое задание, валидность теста, надежность теста.

10. Виды тестов.

11. Понятие «трудность теста».

12. Классификация тестов по разным основаниям.

13. Понятие гомогенных и гетерогенных тестов.

14. Применение компьютерного тестирования.

15. Основные виды заданий в тестовой форме.

16. Структура тестового задания.

17. Экспертиза качества содержания теста.

18. Виды оценочных шкал.

19. Достоинства и недостатки «портфолио» как средства оценки результатов обучения.

20. Задачи ЕГЭ. Каковы преимущества и недостатки ЕГЭ перед другими формами контроля?

21. Нормативные документы, регулирующие проведение ЕГЭ (Положение о проведении ЕГЭ, утвержденное приказом Министерства образования РФ от 09. 04. 2002. № 1306; Положение о государственной экзаменационной комиссии субъекта РФ (ГЭК); Положение о конфликтной комиссии; Положение о системе общественного наблюдения).

22. Организация и процедура проведения ЕГЭ. Требования к пунктам проведения ЕГЭ.

23. Структура заданий ЕГЭ.

Учебное издание

Шалашова Марина Михайловна

Троицкая Ирина Юрьевна

Тихонова Элеонора Викторовна

Патрикеева Элла Геннадьевна

Трухманова Елена Николаевна

Методические рекомендации к практическим и лабораторным занятиям по курсу «Современные средства оценивания результатов обучения»

В авторской редакции

Технический редактор С.П. Никонов

Верстка, оформление и вывод оригинала макета И.Ю. Троицкая

Лицензия ИД №04436 от 03.04.2001. Подписано в печать

Формат Усл. печ. л. Тираж 200 экз. Заказ №

Издатель:

Арзамасский государственный педагогический институт

Им. А.П. Гайдара

607220 г. Арзамас Нижегородской области, ул. К. Маркса, 36

Участок офсетной печати

607220 г. Арзамас Нижегородской области, ул. К. Маркса, 36.