Самара 2000

Джефри Вялфорд, Великобритания (перевод и адаптация к отечественной терминологии - Кузнецов В. Г., к. п. н.)

Теория и практика современного педагогического тестирования имеет не более чем столетнюю историю. Развитие психологии и педагогики с конца XIX века до начала первой мировой войны было тесно связано со становлением тестовых технологий. Социальные и научные условия конца XIX и начала XX веков заставляли педагогов и психологов рассматривать результаты тестирования с точки зрения сравнения относительных способностей испытуемый, что стало со временем называться нормативно-ориентированным подходом к интерпретации результатов тестирования.

Когда индивидуальные баллы интерпретируются по отношению к подготовленности самого экзаменующегося на данной области содержания, а не сравниваются с результатами других экзаменующихся из группы, то в этом случае говорят о критериально - ориентированном подходе к тестированию .

Идея критериально - ориентированного тестирования и сам термин появились в 60-е годы нашего столетия. К этому времени нормативно-ориентированное тестирование развивалось уже более полувека. Начиная с 70-х годов, критериально - ориентированные тесты получили всеобщее признание и стали широко применяться в сфере образования и профессиональной аттестации кадров.

Они получили в настоящее время широкое применение в образовании, индустрии и вооруженных силах США, Великобритании, Голландии, Японии и в других развитых странах. Они обеспечивают пользователей тестов ценной информацией, причем отличной от той, которая может быть получена в результате проведения нормативно-ориентированных тестов.

Критериально - ориентированные тесты или как их еще называют domain-referenced tests (тесты, ориентированные на область содержания) и mastery tests (квалификационные тесты) используются во многих образовательных учреждениях развитых стран и решают различные задачи.

За последнее время стало обычным для государственных образовательных институтов определять совокупность знаний, умений и навыков, которые студенты должны усвоить, чтобы перейти с одного курса на другой или чтобы получить соответствующий диплом. В России эта совокупность получила свое воплощение в создании государственных образовательных стандартов. Использование критериально - ориентированных педагогических тестов, основанных на государственных образовательных стандартах, для итоговой и поэтапной аттестации студентов является чрезвычайно перспективным.

Одно изсамых важных приложений критериально - ориентированных тестов - это сертификация и лицензирование в сфере профессиональной деятельности. В США, например, стало весьма распространенным явлением, когда профессиональные организации устанавливают аттестационный экзамен в виде критериально - ориентированного теста (или батареи тестов), который испытуемые должны успешно пройти, чтобы получить возможность практики в выбранной сфере профессиональной деятельности. Многие из этих профессиональных организаций применяют критериально - ориентированные тесты для повторной сертификации испытуемых. Типичный профессиональный экзамен, основанный на критериально - ориентированных тестах, измеряет знания, умения и навыки, необходимые для профессиональной деятельности, а результаты тестирования интерпретируются по отношениюк минимальному установленному стандарту оценивания.

Понятие нормативно-ориентированного и критериально - ориентированного педагогического теста

В настоящеевремя существует два основных подхода к разработке тестов для конкурсного, а также профессионального отбора, и для аттестации учащихся и специалистов: нормативно - ориентированный и критериально - ориентированный. Эти два подхода различаются навсех этапах разработки с момента выбора содержания до момента интерпретации результатов.

Самая общая их характеристика заключается в следующем .

Нормативно - ориентированный подход (по-английски norm-referenced) позволяет сравнивать учебные достижения (уровень подготовки, уровень профессиональных знаний и умений) отдельных испытуемых друг с другом.

Критериально - ориентированный подход (по-английски criterion-referenced) позволяет оценивать, в какой степени испытуемые овладели необходимым учебным материалом

Для аттестационного контроля уровня обученности более привычной и естественной является задача, решаемая в рамках критериально - ориентированного подхода. Тем не менее, в процессе тестового контроля оба подхода важны необходимы.

Тесты измеряют степень усвоения учебного материала овладения необходимыми знаниями, умениями и навыками уровень профессиональной квалификации кадров. В результате измерения степень проявления какого-либо свойств испытуемых выражается в тестовом балле, представляющем собой определенное число. Тестовые баллы располагайте на специальных шкалах, выбранных разработчиками.

Нормативно-ориентированные педагогические тест используются для того, чтобы получить надежные и нормально распределенные баллы длясравнения тестируемых.

Критериально-ориентированные педагогические тесты применяются для того, чтобы интерпретировать результат тестирования в соответствии уровнем обученности испытуемых на хорошо определенной области содержания.

Хотя различия нормативно-ориентированных и критериально-ориентированных тестов существенны,они имеют много общего. С первого взгляда на сам тест, довольно трудно определить какой из этих двух типов имеет место. Он используют те же формы тестовых заданий и подобные инструкции для испытуемых.

Первое различие - это цель создания теста. Нормативно-ориентированные тесты составлены специально для того, чтобы получить возможность сравнения испытуемых в той области содержания, для которой тест предназначен. Для этого используются нормативные или стандартные шкалы.

Критериально-ориентированные тесты составлены для того, чтобы аттестовать результаты испытуемого в соответствии с областью определенных знаний, умений и навыков. Результаты критериально-ориентированного тестирования могут быть использованы для:

1. оценки итогового уровня обученности испытуемого, соответствия этого уровня государственным образовательным стандартам или программе обучения;
2. отбора студентов, достигших необходимого уровня обученности, в том числе и профессиональной компетенции;
3. оценки эффективности программы обучения в том или ином учебном заведении.

Результаты критериально-ориентированного тестирования также могут быть использованы для сравнения между собой уровней подготовки студентов, однако в этом случае можно получить сравнительно низкую надежность, если распределение баллов однородно и имеет малую вариацию.

Второе различие этих двух типов тестов состоит в уровне детализации области содержания. От разработчиков обоих типов тестов обычно требуется формирование спецификации его содержания. Создатели критериально-ориентированных тестов должны, в типичных случаях, подготовить значительно более детализированную спецификацию содержания,чем составители нормативно-ориентированных тестов. Это необходимо для того, чтобы пользователи теста были уверены в адекватной интерпретации тестовых баллов.

Третье различие лежит в плоскости проведения статистической обработки результатов тестирования. Обработанные (или шкалированные) баллы по результатам нормативно-ориентированного тестирования базируются на статистических данных нормативной группы, то есть специфической достаточно большой выборке испытуемых. В большинстве случаев для этого типа тестов применяются специальные нормативные шкалы. Каждый индивидуальный балл для данного теста имеет однозначное соответствие с процентильным эквивалентом, определенным на нормативной группе. Если для индивидуального балла данного испытуемого процентильный эквивалент равен 75, то это означает, что у 75% тестируемых из нормативной группы результаты тестирования были такие же или хуже. Обработанные индивидуальные баллы по результатам критериально-ориентированного тестирования не относятся к какой-либо нормативной группе или выборке испытуемых. Индивидуальный балл испытуемого интерпретируется по отношению к доле учебного материала успешно им освоенного. Чаще всего балл студента отражает процент правильно выполненных заданий и выражается в шкале процентов.

Четвертое основное различие лежит в плоскости технологии анализа и отбора тестовых заданий. В нормативно - ориентированных тестах статистические показатели тестовых заданий (уровень трудности и различающая способность) играют важную, а часто определяющую роль в отборе заданий. В общем случае задания со средним уровнем трудности и высокой различающей способностью имеют больший шанс быть отобранными для использования в тесте этого типа, таккак они вносят существенный вклад в вариацию индивидуальных баллов студентов. Надежность теста, в общем случае, будет выше, если вариация тестовых баллов увеличится. Напротив, в критериально - ориентированных тестах статистические характеристики (уровень трудности и различающая способность) заданий не является основной причиной для их включения в состав теста, или наоборот исключения из него. Главное условие отбора заданий в критериально - ориентированный тест - это их соответствие (их конгруэнтность) спецификации и элементу содержания. Статистические характеристики тестовых заданий используются для составления параллельных форм критериально - ориентированных тестов и для выбора оптимального стандарта оценивания.

Эти два типа тестов различаются и по методам конструирования, и по особенностям применения. Однако, основным критерием для разделения тестов на нормативно- и критериально - ориентированные является подход к интерпретации тестового балла.

Существует и ряд других важных различиймежду ними. Характерные особенности этих двух типов тестов можно свести в таблицу 4.2.

Нормативно-ориентированные тесты

В большинстве тестовых программах за рубежом использовались и используются в настоящее время различные виды шкалированных (обработанных) баллов. В практике массового педагогического тестирования существует более или менее стандартный набор шкалированных баллов, которые информируют пользователей теста об относительных способностях испытуемых .

К таким шкалированным (обработанным) баллам относятся: процентильные эквиваленты; стандартные линейные шкалы; стандартные нормативные шкалы и другие виды педагогических шкал . Шкалированные баллы помогают пользователям тестов получить информацию о позиции экзаменуемого по отношению к хорошо определенной группе, определенной специфической выборке испытуемых.

Эта специфическая выборка испытуемых часто называется нормативной группой, и так как обработанные баллы ориентированы на баллы в нормативной группе, они называются нормативно-ориентированными баллами.

В основе нормативно-ориентированной интерпретации лежит сопоставление индивидуального тестового балла данного студента с баллами, полученными другими испытуемыми. Самый простой способ провести нормативно-ориентированную интерпретацию тестового балла состоит в том, чтобы сообщить, сколько процентов учащихся из учебной группы, в которой проводилось тестирование, выполнили тест хуже (получили болеенизкий балл) и сколько процентов выполнили тест лучше (получили более высокий балл). Однако при такой интерпретации возникает следующая трудность: оценка индивидуальных учебных достижений оказывается зависимой от уровня подготовленности всей группы студентов, в которой проводилось тестирование. Гипотетически преодолеть эту проблему можно было бы следующим образом : протестировать всю популяцию, для которой разрабатывался тест, и сравнить индивидуальный балл с полученными результатами. Под популяцией понимается все множество учащихся, которые обучаются данной дисциплине и по данное программе. Если тест разрабатывается для применения в каком-либо одном учебном заведении, то в популяцию включают все учебные группы, обучающиеся по одной программе. Если тест разрабатывается для применения в рамках регионе или страны, то популяция принимает весьма внушительные размеры. Протестировать такое количество испытуемых практически невозможно. Поэтому, чтобы получить информацию с том, как выполнили тест все испытуемые, прибегают к формированию так называемой выборке стандартизации. Это специально подобранная группа испытуемых, которая адекватно репрезентирует популяцию, для которой разрабатывается этот тест. В выборке стандартизации пропорционально представляются все возрастные, социальные и другие группы испытуемых, из которых состоит популяция. Результаты проведения теста на образованной таким образом выборке называются тестовыми нормами. Отсюда происходит термин "нормативно-ориентированное тестирование". По нормам судят с том, как выполнили бы тест все испытуемые, для которых он предназначен. Если выборка стандартизации адекватно репрезентирует популяцию, то, сопоставляя индивидуальный балл с нормами, можно получить оценку уровня учебных достижений испытуемого по сравнению с уровнем учебных достижений других учащихся. Такая оценка уже не зависит от группы, в которой проводилось тестирование .

Педагогические тесты, специально разработанные для того, чтобы провести нормативно-ориентированную интерпретацию, называются нормативно-ориентированными тестами.

Нормативно-ориентированные тесты имеют свою специфику, связанную с их основной задачей - дифференцировать испытуемых. При разработке этого типа стараются добиться высокой вариативности тестовых баллов. Если большинства испытуемых получает только низкие, или только средние или только высокие баллы, то труднее установить между ними различия. Если же вариативность баллов высокая (встречаются и низкие, и средние, и высокие баллы), то дифференцировать испытуемых легко. Нормативно-ориентированные тесты разрабатываются таким образом, чтобы распределение баллов было близко к нормальному. Математические методы, применяемые при конструировании и оценке нормативно-ориентированных тестов, рассчитаны на модель нормального распределения и основываются в основном на корреляционном анализе .

Нормативно-ориентированный подход чрезвычайно полезен, когда необходима информация об испытуемом, связанная с его относительными способностями или относительной обученностью по сравнению с другими испытуемыми. Естественно, потенциальная ценность интерпретации нормативно-ориентированного подхода зависит и от соответствия нормативной группы целям тестирования, и от чистоты и тщательности, с которой была составлена нормативная группа.

Для того чтобы определить способности абитуриента по математике очень важно знать, что нормативная группа является репрезентативной для всей группы абитуриентов. Иногда для принятия важных решений необходимо ориентироваться на более специфическую нормативную группу. Например, нормативная группа абитуриентов на инженерные специальности будет более подходить для интерпретации относительной способности абитуриента на инженерные специальности по результатам нормативно-ориентированного тестирования,чем просто, нормативная группа всех абитуриентов.

Отметим основные недостатки нормативно-ориентированного подхода к педагогическому тестированию. Для большинства педагогических тестов необходимо знать гораздо больше об испытуемом,чем дает нормативно-ориентированный подход. Например, для некоторого абитуриента мы получили 65 процентильных эквивалентов в результате тестирования. Это означает, что данный абитуриент ответил на задания данного теста не хуже, чем 65% испытуемых из всей, достаточно большой нормативной группы. Но мы не знаем,какие именно понятия усвоены данным абитуриентом, икакие задачи он может решать. Требовалось ли в данном тесте от данного абитуриента только легко запоминаемых для решения алгоритмов, или от него требовалось творческое решение, творческий подход для решения заданий. Более того, мы незнаем, какую долю от всей программы твердо усвоил данный испытуемый. Подобного рода вопросы становятся важными тогда, когда намеченное использование теста выходит за рамки определения относительных способностей экзаменующегося. Определение относительных способностей абитуриентов может быть важным для конкурсных экзаменов, но после проведения учебного процесса в течение некоторого времени, преподавателям необходимо узнать какого вида понятия каждый студент усвоил, и какие типы задач может решать данный студент, фактически какую долю от изученного материала он усвоил.

Критериально-ориентированные тесты

Существует, однако, и подход отличный от нормативно-ориентированного, когда обработанные баллы интерпретируются по отношению к подготовленности самого экзаменующегося на данной области содержания, а не сравнительные способности с другими экзаменующимися из нормативной группы. В этом случае говорят о критериально-ориентированном подходе .

Такие тесты называются критериально-ориентированными. Однако педагогический тест может при специальной технологии составления и интерпретации предоставлять как нормативно-ориентированную, так и критериально - ориентированную информацию для пользователей.

В литературе существует много определений критериально-ориентированного теста. Авторы используют этот термин различно, поэтому необходимо однозначно определить критериально - ориентированный подход. Каждый вид критериально-ориентированного теста составлен для того, чтобы интерпретировать результаты тестирования по отношению к определенной области содержания. Эта интерпретация может совершаться различными способами, которые зависят от цели тестирования. Определение теста должно служить базисом для установления границ данной концепции. Критериально-ориентированный тест - это такой тест, который намеренно составлен, чтобы производить педагогические измерения и напрямую интерпретироваться в терминах точно определенного стандарта. Данные педагогические измерения производятся путем выбора репрезентативного набора тестовых заданий на соответствующей области содержания. Критериально-ориентированные тесты специально составлены таким образом, чтобы обобщить результаты индивидуальных баллов относительно точно определенного домейна или области содержания . Причем тестовые задания могут включать как проверку содержания, так и проверку навыков и умений. Домейн, или область содержания называются хорошо определенными, если совершенно ясно, какая категория тестовых заданий потенциально принадлежит данной области содержания. Основное использование критериально-ориентированного тестирования - это определение статуса испытуемого по отношению к некоторому количеству тестовых заданий выбранных, или с определенной области содержания, причем таким образом, который позволяет пользователю теста сделать заключение об учебных достижениях испытуемого. Таким образом, хорошо определенная область содержания является необходимым, но недостаточным условием критериально-ориентированного тестирования.

Часто можно встретить довольно узкие определения, подразумевающие только один из видов критериально-ориентированных тестов. Более широкие определения нередко страдают неточностью формулировок. В работе приведено определение, которое, пожалуй, наиболее точно раскрывает сущность и специфику этого типа тестов.

«Критериально-ориентированный педагогический тест представляет собой систему заданий, позволяющую измерить уровень учебных достижений относительно полного объема знаний, умений и навыков, которые должки быть усвоены учащимися».

Мы будем называть областью содержания теста тот полный объем знаний, умений и навыков, которые должны быть усвоены студентами в результате определенного курса обучения и овладение которыми измеряется критериально-ориентированным тестом. Выполнение критериально-ориентированного теста описывается, как правило, в терминах содержания учебной дисциплины. Например, результаты проведения теста позволяют судить о том, какую долю области содержания освоил студент, какие задачи и какого уровня сложности может решать испытуемый, и т.п.

Два основных вида критериально - ориентированных тестов

В литературе по тестологии (или педагогическим измерениям) выделяют два основных вида критериально - ориентированных тестов, отличающихся друг от друга по ряду характеристик. Установившихся названий для этих видов на русском языке пока не существует. В зарубежной литературе терминология окончательно также еще не установилась. Критериально - ориентированные тесты намеренно составляются таким образом, чтобы аттестовать уровень индивидуальных достижений студентов по отношению к заранее определенной области содержания. Принципиальный интерес при их разработке представляет строгая и точная спецификация области содержания теста. Это необходимо для того, чтобы увеличить до максимального уровня обоснованность интерпретации индивидуальных баллов студентов [З, 4, 6]. Именно акцентированное внимания на области содержания (по англ. - domain) внушило некоторым исследователям идею наименования таких тестов как domein-referenced, что можно перевести как «тесты, ориентированные на область содержания».

Создание заданий для теста, ориентированного на область содержания, требует более детальных и точных правил. Для этого требуется точная и строго определенная спецификация области содержания теста. Этот тип критериально - ориентированных тестов предназначен для оценки доли от полного объема учебного материала, которую усвоил испытуемый. В зарубежной литературе его обычно называют domein-referenced test. Мы будем называть этот тип критериально - ориентированных тестов термином: тесты, ориентированные на определенную область содержания. Предполагается, что в результате обучения учащиеся должны приобрести определенную сумму знаний, умений и навыков, которая является областью содержания теста и условно принимается за 100 процентов. Уровень учебных достижений каждого испытуемого можно выразить в проценте от полного объема области содержания теста. Для итогового контроля наиболее естественно применять именно этот тип тестов.

На практике существует и другой тип критериально - ориентированных тестов. Называются такие тесты mastery tests , то есть «тесты на мастерство» или «квалификационные тесты» [З, 4] . Они применяются для определения в группе испытуемых квалифицированных и неквалифицированных (masters and nomasters) в какой-то области. Эмпирическая процедура анализа тестовых заданий в данном случае рекомендована для того, чтобы определить «чувствительность» тестовых заданий к различию между обученными и необученными испытуемыми.

Этот вид используется для классификации испытуемых и разделения их на группы на основании заранее выбранного стандарта оценивания (критериального балла). Чаще всего такие тесты используются для разделения испытуемых на две группы: усвоивших и не усвоивших необходимый навык на базе определенной области содержания. Иногда происходит деление на большее количество групп. Например, на тех, которые полностью овладели навыком, и на тех, которым лучше закрепить его, а также на группу учащихся, которым надо начать изучение материала с самого начала. Для отнесения к определенной группе испытуемый должен достичь необходимого минимального стандарта оценивания. Этот стандарт устанавливается разработчиками теста и является критерием, на основании которого принимается решение относительно испытуемого. В тесте данный стандарт выражается определенным количеством правильно выполненных заданий. Важными элементами разработки таких тестов являются: методы установки стандарта оценивания квалификации по результатам тестирования, оценка уровня ошибки этого стандарта, определение последовательности принятия решения о квалификации или о недостаточной подготовке студента .

Многие ученые [З, 4, 5] отмечают, что термин "критериально-ориентированное тестирование" является неудачным. Он создает впечатление, будто существует некий критерий, с которым сопоставляются результаты тестирования. Одно из заблуждений относительно критериально-ориентированного тестирования, это неправильное понимание того, что данный термин означает использование так называемого критерия или "критериального (проходного) балла". Критериально - ориентированное тестирование не всегда требует наличия проходного балла, хотя для определенных практических приложений при данном виде тестировании могут потребоваться так называемые стандарты оценивания или проходные баллы. Такой критерий, а точнее стандарт оценивания, в самом деле, используется, но его наличие не является обязательным. Ошибочная трактовка критерий, как уровня подготовленности является одним из заблуждений относительно критериально - ориентированного тестирования. Это неправильное понимание того, что данный термин означает использование так называемого "проходного балла". На самом деле критериально - ориентированное тестирование не обязательно требует наличия проходного балла, хотя для определенных практических приложений при данном типе тестировании могут потребоваться так называемые стандарты оценивания. Дело в том, что пользователь теста может использовать или установить проходной балл для любого теста – критериально - ориентированного или не критериально - ориентированного. Если просто установить 80% правильно решенных заданий как "проходной балл" для любого теста, это не означает автоматически, что вы используете хорошо определенную область содержания и описываете результаты тестирования по отношению к этой области содержания. Способность самого теста давать данную информацию об испытуемых, то есть давать статус испытуемых по отношению к данной области содержания и делает тест критериально - ориентированным, а не тот факт, что вы использовали проходной балл или другой критерий оценивания.

Существует и другое заблуждение, а именно о связи критериально - ориентированного теста с критериальной интерпретацией педагогического измерения. Иногда тест составляется таким образом, чтобы прогнозировать статус испытуемого для другого теста, или для других педагогический измерений, таких как экзамены, зачеты и т.д. Например, некоторые тесты, такие как широко известные SAT-I и SAT-II, составлены для того, чтобы помочь предвидеть, прогнозировать учебные успехи абитуриентов в университетах США . Та переменная величина, которая определяется для данного прогноза, называется критериальной величиной. Таким образом, итоговые оценки студента в университете являются критериальным измерением для вступительного теста. Данное педагогическое исследование, например тест SAT, проводится для того, чтобы установить полезность, обоснованность и фактически критериальную валидность самого вступительного теста, как прогностического теста установления статуса испытуемых, по отношению к критериальной переменной. Использование термина "критериальный" в данном случае отличается от использования этого же термина в связи с критериально-ориентированным тестированием.

Таблица 4.1

Характерные особенности нормативно-ориентированных и критериально-ориентированных тестов

Нормативно - ориентированные тесты	Критериально - ориентированные тесты
1. Цель тестирования: возможность сравнения уровня подготовки испытуемых друг с другом в той области содержания, для которой тест предназначен. Пример использования: конкурсный отбор кандидатов на обучение.	1. Цель тестирования: возможность аттестации испытуемого в соответствии с его уровнем усвоения определенной области содержания. Пример использования: итоговая аттестация уровня обученности студентов, уровня профессиональной подготовки кадров.
2. Используемые шкалы: нормативные (или стандартные) шкалы. Необходимо указание среднегозначения и стандартного отклонения в выбранной шкале.	2. Используемая шкала - в основном, шкала процентов с выбранным одним (или несколькими) критериальным баллом (баллами). Особоевнимание уделяется методики оптимального выбора критериального балла (или баллов).
3. близко к нормальному, в большинстве случаев имеет вид :	3. Распределение индивидуальных баллов: произвольное, в большинстве случаев асимметричное и имеет вид:
4.- несущественен. Авторы теста выбирают наиболее значимые элементы содержания.	4. Уровень детализации области содержания - подробный. Авторы теста разрабатывают спецификацию (план) теста, включающую все элементы содержания. Затем по этой спецификации разрабатываются задания.
5. Нормативная группа испытуемых обязательна. Обработанные (или шкалированные) баллы по результатам нормативно-ориентированного тестирования базируются на статистических данных нормативной группы, то есть специфической достаточно большой выборке испытуемых. В большинстве случаев применяются специальные нормативные таблицы, где каждый индивидуальный балл для данного теста имеет однозначное соответствие с процентильным эквивалентом, определенным на нормативной группе.	5. Нормативная группа испытуемых не является необходимой. Индивидуальный балл испытуемого интерпретируется по отношению к доле учебного материала успешно им освоенного. Чаще всего балл студента отражает процент правильно выполненных заданий и выражается шкале процентов.
6.Статистические показатели тестовых заданий (в основном это уровень трудности и различающая способность) играют важную роль в отборе заданий. Выбираются задания со средним уровнем трудности (от 0,3 до 0,7) и высокой различающей способностью (большей 0,3). Существуют ряд других важных статистических показателей качества заданий.	6. Статистический анализ и отбор тестовых заданий. Уровень трудности и различающая способность заданий не является существенными факторами включения в состав теста, или наоборот исключения из него. Главное условие отбора заданий - это их соответствие (их конгруэнтность) спецификации и элементу содержания. Статистические характеристики тестовых заданий используются для составления параллельных форм (вариантов) теста и для выбора оптимального критериального балла.
7. Надежность теста. Оценивается либо путем нахождения корреляциимежду результатами двух тестирований, либо методом расщепления теста на две половины при однократном тестировании.	7. Надежность теста . Оценивается степенью постоянства принятия решения «зачет – незачет» при двукратном тестировании.
8. Валидность. Наряду с содержательной валидностью для тестов конкурсного отбора учащихся особое внимание уделяется высоким показателям прогностической валидности.	8. Валидность. Особое внимание уделяется содержательной валидности. В случае принятия важных решений по результатам тестирования исследуются критериальная и конструктная валидность.

1. Аванесов В. С. Основы научной организации педагогического контроля в высшей школе. Учебное пособие. - М.: Исследовательский центр, 1989 – 167 с.
2. Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии. М.: Прогресс. 1976 – 495 с.
3. Berk R.A. Criterion-referenced measurement: The state of art. Baltimor , MD: Johns Hopkins University Press, 1980.
4. Educational measurement (Ed. by Linn R.) N.Y. Macmillan, 1989 – 610 с.
5. Edcational Testing Service. Standards for quality and fairness. Prinston, NJ. 1987.
6. Keeves J.P. (Ed.) Educational Research, Metodology and Measurement: An International Handbook. Oxford, Pergamon press, 1988.

Источник поступления: Евсигнеев А. Е., Самарский государственный технический университет, Факультет повышения квалификации преподавателей, Проектирование информационных технологий, Информационный бюллетень №1, Самара 2000.

Различают критериально-ориентированные тесты и тесты, ориентированные на статистическую норму.

Норма характеризует выборку или популяцию , но не раскрывает действительных требований к человеку.

^ Социально-психологический норматив (СПН) - система требований, которые общество предъявляет каждому из его членов . Чтобы не быть отторгнутым от существующей общности, человек должен овладеть теми требованиями, которые к нему предъявляются, причем, процесс, этот является активным - каждый стремится занять определенное место в своей социальной общности и сознательно осуществляет этот процесс приобщения к классу, к группе. Эти требования и могут составлять содержание СПН , которые выступают как идеальная модель требований социальной общности к личности.

Следовательно, при оценке результатов тестирования итоги надо подводить по степени близости к СПН, который дифференцируется в образовательно-возрастных границах . Подобные требования могут быть закреплены в форме правил, предписаний, требований к человеку и включать самые разнообразные аспекты: умственное развитие, нравственное, физическое и т. д. Тем более что эти требования, составляющие содержание СПН , вполне реальны и присутствуют в образовательных программах и т.д.

^ Использование в качестве критерия развития СПН выдвигает на первый план качественный способ обработки теста, при котором необходимо учитывать : какие термины и понятия по степени обобщенности усвоены лучше , а какие - хуже ; какие логические операции освоены более, а какие менее - успешно ; в каком круге понятий и терминов ученики ориентируются менее, а в каком - более уверенно . Поэтому в отличие от статистической нормы СПН качественно иным образом рассматривает содержательную сторону развития человека.

Появление критериально-ориентированных тестов (КОРТ) связано стестированием достижений и успехов в учебе как детей, так и взрослых после специальных курсов обучения. Первым, кто обозначил “самостоятельную сущность” нетрадиционной формы тестирования и отделил ее от тестирования, ориентированного на статистическую норму, был Р. Глезер (1963). Он же и ввел термин “criterion referenced measurement” - критериально-ориентированное измерение . Различие между критериально-ориентированным и ориентированными на норму подходами было зафиксировано, но в диагностической практике разница между двумя подходами не выявилась. Это, возможно, зависело от того, что было недостаточным проанализировать практический смысл применения критериально-ориентированной тестовой модели. Было важно другое: разработать методики конструирования и проверки тестов, ориентированные на критерий.

Предметом анализа КОРТ становится содержание деятельности индивида: что индивид знает или умеет делать по отношению к конкретным требованиям, которые предъявляет к нему учебно-образовательная программа. В КОРТе анализ текста должен заключаться в его проверке по характеристикам, сосредоточенным на содержательных и сравнительных особенностях заданий теста, а не только на его статистических показателях. Установление содержательного соответствия теста и реального учебного задания выступает как решающий этап разработки КОРТа. По отношению к КОРТу учебное задание является не “внешним критерием”, но той реальностью, существенные моменты которой данный КОРТ моделирует.

^ Виды критериев в КОРТе. На начальном этапе становления критериально-ориентированного подхода былавыдвинута концепция критерия как уровня выполнения . КОРТы представляют сведения относительно того, что ученик не усвоил. Учащегося возвращают к тем фрагментам учебного материала, на которые ему необходимо обратить внимание (тестирование обнаруживает проблемы в знаниях и неосвоенные навыки).

Критерий как уровень мастерства - эталонная совокупность всех компонентов, составляющих конкретное знание. Располагая такой характеристикой, учитель или исследователь может сравнить то, что делает ученик, с тем, что он должен уметь делать. Особенность КОРТов, направленных на становление уровня мастерства, состоит в том, что они не только выявляют объемы усвоенного материала, но указывают на возможности ученика активно использовать полученные знания в усвоении нового, более сложного материала . Если КОРТы, ориентированные на уровень выполнения, могут установить, что ученик достаточно подготовлен, чтобы перейти на следующий этап обучения, то КОРТы, ориентированные на уровень мастерства, воплощают в себе требования, которые прежде всего обусловлены сложившимися в теории и методике обучения стандартами и образцами усвоения (они зафиксированы как учебные цели).

КОРТ на уровень мастерства рекомендуется строить по ступенчатому признаку. Каждая ступень будет характеризоваться своим уровнем сложности. Сложность здесь понимается как объективная категория, определяемая числом и характером свойств и отношений между элементами учебного задания. Ступенчатая структура представляет возможность не только установить, достаточно ли владеет учащийся определенным умением, но и выявить, в какой мере успешность реализации этого умения определена содержательными характеристиками учебного материала.
^

3.5. Компьютеризация психодиагностических методик

Компьютер не может подменить интуицию и творческую активность человеческой психики, ее пристрастность и избирательность, целостность восприятия и дар предвосхищения.

Но применение ЭВМ открывает широкие перспективы для психологических исследований. В связи с задачами психологической диагностики крайне важно, что с помощью компьютера экспериментатор получает для анализа такие данные, которые без ЭВМ получить практически невозможно: время выполнения отдельных заданий теста, время получения правильных или ошибочных ответов, количество отказов от решения и обращений за помощью, время, затрачиваемое испытуемым, на обдумывание ответа при отказе от решения, время ввода ответа (если он сложен) в ЭВМ и т.д. Эти особенности испытуемых можно использовать для углубленного психологического анализа их деятельности в процессе тестирования.

ЭВМ изменили почти все этапы тестирования - от создания теста до его применения, подсчета первичных показателей, регистрации и интерпретации, обеспечили гибкий и скоростной способ переработки данных.

С момента применения компьютеров в психодиагностике можно выделить несколько направлений в этой сфере.

Одно из них - сбор и обработка тестовых данных, к которым приспособлено большинство современных методик.

Большие возможности в решении указанных задач открываются при использовании ЭВМ для автоматизации стандартизации процедуры тестирования. Применение компьютера обеспечивает массовость испытаний, повышает их объективность и достоверность за счет снижения влияния на испытуемого личности экспериментатора, вариативность некоторых условий тестирования и т.д.

На еще более высоком уровне при этом осуществляется качественный анализ результатов диагностики и машинная интерпретация тестовых показателей. При такой организации тестирования определенные серии ответов связываются с теми или иными словесными формулировками, хранящимися в памяти ЭВМ. При желании можно получить информацию и в виде графиков, таблиц, диаграмм, профилей.

Важную роль играют компьютеры и в решении ряда вопросов, непосредственно связанных с разработкой новых тестов, с созданием алгоритма для их разработки.

Особое значение имеет проблема разработки методики адаптированного (индивидуализированного) тестирования , которому большинство зарубежных авторов отдают предпочтение. При этом подходе каждый испытуемый получает задание, соответствующее ему по трудности. Адаптированное тестирование значительно сокращает время испытаний, позволяет проводить их практически в индивидуальном темпе и повышает точность диагностики свойств испытуемых. Адекватность трудности заданий возможностям испытуемых повышает их мотивацию.

При тестировании с использованием ЭВМ исследователь может получить объективную информацию не только об особенностях выполнения определённых заданий группой учащихся (характеристика теста), но и об индивидуальных данных учащихся (характеристика испытуемого). Имеются в виду показатели умственного развития, скоростные особенности (темп) деятельности испытуемого, динамика его работоспособности, особенности выполнения вербальных и невербальных субтестов и т. д.

^ Выводы

• 
  Основная особенность психодиагностики – измерительно -испытательная направленность , за счет которой достигается количественная и качественная оценка изучаемого явления.

• 
  Выделяют три основных психодиагностических подхода , которые охватывают все множество имеющихся диагностических методик: “объективный”, “субъективный” и “проективный” .

• 
  Выделяют четыре основных типа методик: тест; опросники и анкеты; проективные техники и психофизиологические методики .

• 
  Для того чтобы тест считался научно-эффективным, он должен пройти проверку по четырем специальным критериям. Эти критерии : стандартизация, нормы, надежность, валидность.
• 
  Стандартизация - это единообразие процедуры проведения и оценки выполнения теста . Таким образом, стандартизация рассматривается в двух планах: 1) как выработка единых требований к процедуре эксперимента и 2) как определение единого критерия оценки результатов диагностических испытаний.
• 
  Надежность теста – постоянство и устойчивость результатов тестирования.
• 
  Валидность теста – пригодность теста измерять то свойство, для измерения которого он предназначен.

• 
  Не существует какого-либо единственного показателя, демонстрирующего валидность теста. Когда тест проверяется на валидность, важно указывать, на какой вид валидности .
• 
  Различают тесты, ориентированные на критерий, и тесты, ориентированные на норму.

Психодиагностика: конспект лекций Алексей Сергеевич Лучинин

19. Критериально-ориентированные тесты

Критериально-ориентированные тесты – тип тестов, предназначенных для определения уровня индивидуальных достижений относительно некоторого критерия на основе логико-функционального анализа содержания заданий. В качестве критерия (или объективного эталона) обычно рассматриваются конкретные знания, умения, навыки, необходимые для успешного выполнения той или иной задачи. Это основное отличие критериальноориентированных тестов от традиционных психометрических тестов, оценка в которых осуществляется на основе соотнесения индивидуальных результатов с групповыми (ориентация на статистическую норму). Термин «критериально-ориентированные тесты» предложен Р. Гласером в 1963 г. Установление содержательного и структурного соответствия заданий теста и реальной задачи – важнейший этап разработки критериально-ориентированных тестов. Этим целям служит так называемая спецификация, включающая:

2) систематизацию знаний, умений и навыков, обеспечивающих выполнение критериальной задачи;

3) образцы тестовых заданий и описание стратегии их конструирования.

Различают две разновидности критериально-ориентированных тестов:

1) тесты, задания которых гомогенны, т. е. сконструированы на одной или аналогичной содержательной и логической основе. Обычно такого рода критериально-ориентированные тесты разрабатываются на материале учебных программ и используются для контроля за формированием соответствующих знаний, умений и навыков;

2) тесты, задания которых гетерогенны и заметно отличаются по логической структуре. В этом случае обычна ступенчатая структура теста, при которой каждая ступень характеризуется собственным уровнем сложности, определяемым логико-функциональным анализом содержания, относящегося к критериальной области поведения. Такого рода критериально-ориентированные тесты обычно используются для диагностики специфических трудностей в обучении. Существенной особенностью критериально-ориентированных тестов является то, что в них индивидуальные различия сводятся к минимуму (индивидуальные различия влияют на длительность усвоения, а не на конечный результат). Поэтому критериально-ориентированные тесты лучше всего приспособлены для оценки развития основных навыков на элементарном уровне. В более сложных областях поведения предела достижений не существует, и исходя из этого необходимо обращаться к оценкам, ориентированным на нормы.

Сегодня за рубежом разработаны тесты, выполнение заданий которых можно соотносить как с критериями, так и с нормами. Необходимо учитывать и то, что нормы неявно присутствуют в критериально-ориентированных тестах, ибо выбор содержания или навыков, подлежащих измерению, предполагает наличие сведений о том, как в подобных ситуациях действовали другие обследуемые ( А. Анастази , 1982). Исходя из этого наиболее перспективным представляется объединение критериально-ориентированного подхода с традиционным психометрическим.

А. Анастази (1982) правомерно считает, что акцент критериальноориентированных тестов на содержательном смысле интерпретации тестовых показателей может оказать благотворное влияние на тестирование в целом. В частности, описание результатов, полученных с помощью тестов интеллекта, в терминах специфических навыков и умений в значительной мере обогащает фиксируемые ими показатели. Для критериально-ориентированных тестов непригодны в большинстве случаев обычные приемы определения валидности и надежности.

В отечественных исследованиях имеется опыт создания критериально-ориентированных тестов ( Е. И. Горбачева , 1985). Кроме того, осуществляется разработка методик, близких критериальноориентированным тестам, но ориентированных не на критерий, а на так называемый социально-психологический норматив или общественно-заданный объективный содержательный эталон (Школьный тест умственного развития). Также исходя из социально-психологического норматива анализируются результаты, полученные с помощью известных психометрических тестов.

Из книги Инфекции, передаваемые половым путем автора Юрий Константинович Скрипкин

Глава 19. Скрининговые тесты при ЗППП Вопросы профилактического обследования на ЗППП перед ли­цом роста инфекций, особенное ВИЧ, стали приоритетной пробле­мой в странах ВОЗ, где получили широкое распространение массо­вые скрининги популяции.Программа профилактики

Из книги Детская йога автора Андрей Иванович Бокатов

Приложение 2 Тесты Тест «Несуществующее животное» (в интерпретации А. Э. Симановского).Этот рисуночный тест позволит вам провести диагностику интеллектуальных качеств ребенка 7–10 лет.Инструкция.Обратиться к ребенку: «Сейчас ты придумаешь животное, которое в природе не

Из книги Заболевания крови автора М. В. Дроздова

Тесты, характеризующие состояние тромбоцитарно-сосудистого гемостаза Методы определения устойчивости сосудов микроциркуляторного руслаОриентировочным методом, посредством которого можно определить состояние микрососудов, является проба щипка, которая при их

Из книги Психодиагностика: конспект лекций автора Алексей Сергеевич Лучинин

ЛЕКЦИЯ № 4. Тесты специальных способностей и достижений 1. Факторный анализ как теоретическая основа построения комплексных батарей тестов способностей Толчком для развития тестов специальных способностей стало мощное развитие профессионального консультирования, а

Из книги Точка боли. Уникальный массаж пусковых точек боли автора Анатолий Болеславович Ситель

4. Тесты достижений Наряду с тестами интеллекта, специальных и комплексных способностей возник и еще один тип тестов, широко применяемых в учебных заведениях, – тесты достижений. В отличие от тестов интеллекта они отражают не столько влияние многообразного

Из книги Метеочувствительность и здоровье автора Светлана Валерьевна Дубровская

16. Компьютерные тесты 1. Тесты, предъявление и обработка которых приспособлены к среде ЭВМ.2. Тесты, специально разработанные для реализации условий и возможностей современной вычислительной техники.На современном этапе развития компьютерной психодиагностики

Из книги 30+. Уход за лицом автора Елена Юрьевна Храмова

Ориентационные, самодиагностические тесты при болях в области локтя При спазмах мышц-разгибателей и мышц-вращателей кисти невозможно направить кончики пальцев вниз и особенно вверх, не смыкая ладони вместе. При попытке удержать сжатую в кулак кисть в положении

Из книги Ваш ребенок курит? автора Александр Александрович Александров

Тесты на определение метеочувствительности Тест на метеочувствительность I На планете немало людей, которые физически ощущают приближение дождя, сильного ветра либо резкий перепад температур или атмосферного давления. А насколько вы метеочувствительны? Проверить это

Из книги Самодиагностика и Энергетическое целительство автора Андрей Александрович Затеев

Тесты на определение типа кожи Чтобы установить, к какому типу относится ваша кожа, необходимо провести несложный тест.Как определить сухую кожуПеред проведением теста очистите лицо, но не наносите после этого крем на кожу. По прошествии часа после очистки рассмотрите

Из книги Как избавиться от целлюлита автора Юлия Гардман

Приложение 5 Тесты для курящих подростков (самозаполнение) Тест № 1СОЦИАЛЬНАЯ СИТУАЦИЯ КУРЕНИЯВ каждом пункте выбери один ответ и под считай набранные баллы1) Курят ли у тебя дома? 2) Как отнесутся близкие к твоему отказу от курения? 3) Курят ли твои друзья открыто?

Из книги Детская оздоровительная йога автора Андрей Липень

Как определить нужного партнера: тесты на совместимость Согласно существующей статистике, несовместимость супругов – одна из главных причин, по которой разрушается множество внешне «перспективных» браков.Сколько проблем и разногласий возникает из-за разных

Из книги Дыхание по методу Бутейко. Уникальная дыхательная гимнастика от 118 болезней! автора Ярослава Сурженко

Существуют ли тесты на определение наличия целлюлита? Любая женщина сможет легко узнать, есть ли у нее целлюлит или нет, самым простым способом. Необходимо слегка сдавить большим и указательным пальцами кожу на бедрах, ягодицах, руках или животе. Вы обнаружили на коже

Из книги Как вылечить себя и близких без лекарств и врачей. Биоэнио для чайников автора Николай Иванович Норд

Тесты для определения доши Отвечая на каждый вопрос, выбирайте соответствующий вашему состоянию балл: 1 означает «несильно, слабо, нехарактерно», 2 – «в среднем, нормально», 3 – «очень выражено, максимально». Рядом с цифрой ставьте «птичку» или обводите ее в кружок. Затем

Из книги автора

Приложение Пройдите тесты и узнайте, здоровы ли вы? Тест 1 «Здоровый ли вы человек?» 1. Возраст оказывает существенное влияние на здоровье. Насчитайте себе по одному баллу за каждый прожитый вами год.2. Рассчитайте, нормален ли ваш вес. Если величина вашего веса в

Из книги автора

Тесты на гипнабельность 1. Всплытие рук Поставьте испытуемого перед собой, попросите его закрыть глаза и опустить руки вдоль туловища. Затем внушайте:«Внимание на мой голос… Вы хорошо слышите мой голос и подчиняетесь ему… Ваши руки зашевелились, отрываются от туловища

Возникли в системе образования в США в 60-70е годы, у нас в 80-е (новые тенденции в психодиагностике). До этого использовались 2 вида тестов:

тест интеллекта

тест достижений в системе образования

Тест интеллекта: особенности тестов интеллекта заключаются в том, что содержание и задание не было связано напрямую с учебной программой. Вывод об успешности учебной деятельности по результатам теста представлял проблему, так как не было соответствия тестам интеллекта и учебных заданий. 0,5 – корреляция успешности тестов интеллекта и успешностью обучения между ними. Невозможно выявить причину специфических трудностей учеников при выполнении учебной деятельности и определить содержание коррекционной работы с этими учениками.

Тесты интеллекта не могут оценить ученика с точки зрения его соответствия конкретным требованиям учебной программы, так как ориентированы на статистическую норму.

Тесты достижений используются в целях контроля успешности усвоения конкретных учебных знаний и навыков. По результатам можно сделать вывод: насколько учитель соответствует требованиям школьной программы, насколько продвинулся и какая помощь ему нужна. Ориентиры не на статистическую норму, а на критерий усвоения. Недостаток – построены бихевиористические модели обучения, контролировали конечный продукт усвоения. А способы усвоения не оценивают. В этом отношении тесты интеллекта давали больше информации.

В 1963 году – Гласер – первый использовал термин критериально-ориентированное измерение.

В 1968 году – описаны способы конструирование Критериально-ориентированные тестов. Появились в системе образования в США.

В начале 70-х годов – интерес к практике критериально-ориентированного измерения. КОРТы отражали: что и как усвоено в процессе программированного обучения. С помощью КОРТа можно оценить насколько человек готов к выполнению какой-либо деятельности, справится ли человек с определенной деятельностью, и на каком уровне может быть выполнена определенная деятельность? КОРТы могут быть полезны не только в системе образования, но и в профессиональной деятельности.

Цели использования КОРТа:

Контроль за развитием психических функций, контроль усвоения учебного материала. С помощью КОРТа можно оценить насколько человек продвинулся в усвоении, развитии.

Оценить насколько развитие определенной функции усвоения соответствует конкретным требованиям той или иной должности. Прогнозировать справится ли человек с той или иной деятельностью.

Отсюда основная особенность КОРТа – тесты ориентированы на внешние требования, выражающиеся в критерии развития или усвоения (критерий выполнения).

Критерий КОРТ.

Понятие «критерий». На первом этапе рассматриваются 2 концепции критерия:

Критерий – это уровень мастерства, выполнение на определенном уровне конкретной деятельности.

Критерий – это определенные содержательные и операциональные аспекты деятельности. Набор знаний, навыков, действий, чтобы справиться с определенной деятельностью.

Слились 2 концепции в одну: выполнение деятельности и определенная сформированность знаний, навыков, соответствующая определенному уровню мастерства.

Понимание критерия было отвергнуто, так как вносило путаницу в тестирование. Таким образом, можно было думать, что любой тест можно превратить в КОРТ, если ввести уровень мастерства (уровень выполнения теста) на этапе интерпретации теста. Критерий отражает содержательные и операциональные элементы той деятельности, которую необходимо выполнить, чтобы соответствовать заранее заданным требованиям извне. Чтобы отразить насколько человек владеет определенной деятельностью, КОРТ должен отражать, что человек знает, умеет. КОРТ – особый метод диагностики. Различие на первом этапе: выяснение целей, в отличие от традиционных тестов.

Вторая особенность КОРТа – его результаты представляются не столько в условных баллах, сколько в конкретных показателях усвоенности и сформированности определенных знаний, навыков, умений. Главное не окличество выполненных заданий, а что человек знает, какие операции умеет делать.

Третья особенность КОРТа – показатели выполнения оцениваются не по сопоставимости с нормой, а по сопоставлению КОРТа с критерием (внешний заданный критерий). Что именно человек знает, чтобы рассчитывать на успех в определенной деятельности.

Как конструируется КОРТ?

С самого начала обратить внимание на определенную критериальную задачу – это внешнее требование к человеку, что человек должен знать и уметь. Насколько человек способен к пониманию прочитанного сложного текста. Деятельность понимания выражается в отдельных операциональнеых компонентах.

Типы задач: подчеркивать предложение, где отражается главная мысль. Выбор заголовка для отрывка текста. Перечислить факты, отражающие главную мысль.

Принципы при отборе задач:

должны дифференцировать испытуемого

должны быть разными по трудности (отбросить задачи, которые решаются всеми или ни одним)

Не важно дифференцируют ли задания разных испытуемых, различны ли по трудности – главное – чтобы были адекватны той деятельности, которую нужно диагностировать. По результатам КОРТа судят: какими операциональными компонентами деятельности владеет испытуемый, а какими нет.

Цель использования: можно выяснить, какими операциональными, содержательными компонентами испытуемый не владеет в полной мере – выяснив это можно определить направление коррекционной работы. Определив в чем недостатки – можно наметить путь усовершенствования.

Четвертая особенность КОРТа – в процессе критериально-ориентировочной практики – КОРТы выполняют мотиво-образующую функцию. Их выполнение побуждает индивидов к совершению собственных умений, заданий.

Как КОРТы используют по отношению к диагностике умственного развития?

Сформированность отдельных навыков – которые можно разложить на отдельные компоненты - ограничивают КОРТы. Сложную умственную деятельность невозможно разложить на отдельные компоненты. Можно оценивать элементарные навыки.

разработка методик ориентированных на систему социально-психологических нормативов (частный вид КОРТа). На общие требования к умственному развитию опирались разработчики тестов на социально-психологические нормативы. Можно оценить насколько соответствует умственное развитие – внешним требованиям.

Разработка особых методик, ориентированных на критерий – совокупность компонентов умственного развития, обеспечивают их успешное выполнение.

Насколько умственное развитие соответствует специфическим требованиям можно определить, используя КОРТ.

Первая работа по разработке КОРТ в 80-е годы Горбачевой – КОРТ диагностики умственного развития в специфичной области. Выявление компонентов умственного развития, обеспечивающих успешное решение определенного класса математических задач. Умение составить уравнение по текстовым задачам. Какие нужны умственные операции – недостаточно тех знаний, которые даются на уроках математики. Совокупность умственных операций – чтобы выяснить, какие нужны операции. Горбачева давала в 5 классе тексты математических задач. В задаче требовалось составить уравнение, но составлять (решать) нужно с определенными условиями – ничего нельзя записывать. Школьники проговаривали свои способы выполнения. Она определила 4 группы умственных действий – операциональные компоненты деятельности по решению текстовых задач.

Для каждого умственного действия - разные типы задач. Всего 4 субтеста:

выделение существенного

четвертый лишний

найди подобие

установление тождества.

Валидность устанавливалась по сопоставлению с успешностью обучения математики. Специальные контрольные задания по математике. Выяснилось, что каждый из отдельных субтестов слабо коррелирует с успешностью выполнения контрольных заданий. Но общее значение субтестов высоко коррелирует с успешностью выполнения контрольных заданий. Отдельного действия недостаточно. Наглядное мышление и вербальное мышление должны быть сформированы для успешного выполнения деятельности.

Пример.

Тест может иметь высокую надежность, но низкую валидность. Тест с высокой валидностью обязательно имеет высокую надежность. Если тест имеет низкую валидность, то применять его нельзя, даже если он имеет высокую надежность.

Понятия надежности и валидности педагогического теста чрезвычайно важны, поскольку именно они характеризуют тест как измерительный инструмент. Тест с неизвестными надежностью и валидностью непригоден для измерения. Когда преподаватель, разработав тест, проводит тестирование, то полученные результаты следует интерпретировать (например, для ранжирования испытуемых) очень осторожно, так как неизвестны надежность и валидность вновь составленного теста.

Педагогическое тестирование широко применяется для контроля знаний учащихся в различных целях. По целям применения педагогических тестов их можно разделить на два больших класса - нормативно - ориентированные и критериально - ориентированные.

НОРМАТИВНО-ОРИЕНТИРОВАННЫЙ тест позволяет ранжировать испытуемых по уровню знаний. Такой тест позволяет сравнивать учебные достижения испытуемых друг с другом.

Целью нормативно-ориентированного теста является упорядочение испытуемых по уровню их подготовленности. В результате может оказаться, что все испытуемые плохо справились с тестом - получили низкие индивидуальные баллы. Тем не менее, и в этом случае можно ранжировать испытуемых - кто-то получил низкий балл, а кто-то еще ниже. Возможны случаи, когда какое-то задание не дифференцирует испытуемых, например, задание легкое и все успешно на него ответили. И наоборот, очень трудное задания и все на него не ответили. Такие задания не позволяют провести ранжирование и, поэтому, должны быть удалены из теста. Если все испытуемые не ответили ни на одно задание, или верно ответили на все задания, то нормативно-ориентированный тест не работает, так как не позволяет достичь поставленной цели и подлежит дальнейшей переработке. Отметим, что, возможно, этот тест неплохо будет работать как критериально-ориентированный.

КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЙ тест позволяет выявить степень усвоения испытуемым определенного раздела в заданной предметной области. Эти тесты появились в 60-х годах прошлого века, то есть значительно позже нормативно-ориентированных. Критериально-ориентированные тесты в свою очередь делятся на тесты, ориентированные на предметную область, и квалификационные тесты.

Целью критериально-ориентированного теста является выяснение - знает ли испытуемый стандартный учебный материал (предмет, раздел, тему). В результате тестирования может оказаться, что все испытуемые успешно выполнили все задания. Это означает, что они освоили учебный материал. Если все испытуемые не справились с заданиями теста, то это означает, что учебный материал не усвоен. В обоих случаях тест выполнил свою задачу.

В дальнейшем нам потребуются следующие определения:

Критериально-ориентированный педагогический тест представляет собой систему заданий, позволяющую измерить уровень учебных достижений относительно полного объема знаний, умений и навыков, которые должки быть усвоены учащимися.

Теперь перейдем к сравнению нормативно-ориентированных и критериально-ориентированных тестов.

Внешне оба типа тестов имеют много общего - в них используются тестовые задания сходные по форме, эти задания сопровождаются похожими инструкциями, выполняются задания одинаковым образом. Но, несмотря на внешнюю схожесть, это совершенно разные тесты. Они имеют следующие различия.

1. ЦЕЛЬ СОЗДАНИЯ ТЕСТА. Нормативно-ориентированные тесты создаются специально для того, чтобы сравнить испытуемых в той области содержания, для которой тест предназначен. Эти тесты можно использовать, например, для отбора абитуриентов при поступлении в вузы. В тех случаях, когда конкурс составляет несколько человек на одно место, возникает проблема ранжирования испытуемых с тем, чтобы выбрать наилучших.

Критериально-ориентированные тесты нужны для аттестации испытуемых в определенной области содержания. Такие тесты используются в итоговом тестировании, например по завершении обучения в среднем общеобразовательном учреждении. Здесь важно выяснить - усвоена ли в надлежащем объеме школьная программа. Вопросы ранжирования тут не играют большой роли.

Если критериально-ориентированные тесты использовать в качестве нормативно-ориентированных, то ввиду малой дисперсии тестовых результатов, эти результаты будут отличаться низкой надежностью. Справедливо и обратное - применение нормативно-ориентированных тестов в критериально-ориентированном тестировании также даст малонадежные результаты. Это обусловлено сильной вариацией тестовых заданий по трудности в нормативно-ориентированном тесте.

2. УРОВЕНЬ ДЕТАЛИЗАЦИИ ОБЛАСТИ СОДЕРЖАНИЯ.

Разработка теста начинается с создания его спецификации и эти спецификации для обоих типов тестов сильно отличаются. Спецификации критериально-ориентированных тестов гораздо детальнее описывают элементы области содержания, поскольку это позволит адекватно интерпретировать результаты тестировании. Для нормативно-ориентированных тестов уровень детализации области содержания гораздо ниже. Для этих тестов гораздо важнее получить вариативные тестовые задания.

3. СТАТИСТИЧЕСКАЯ ОБРАБОТКА результатов тестирования. Шкалированные баллы нормативно-ориентированного тестирования основываются на тестовых нормах, полученных на «выборках стандартизации». При критериально-ориентированном тестировании тестовые баллы не связаны с какой-либо нормативной группой испытуемых. Обычно тестовый балл отражает долю правильно выполненных заданий и выражается в процентах.

4. АНАЛИЗ И ОТБОР ТЕСТОВЫХ ЗАДАНИЙ.

Для нормативно-ориентированных тестов большое значение имеют статистические характеристики - уровень трудности задания, его дифференцирующая способность. Если задание имеет средний уровень трудности и высокую дифференцирующую способность, то оно считается хорошим для нормативно-ориентированного теста.

Эти статистические характеристики не имеют большого значения для критериально-ориентированного теста. Здесь главным критерием для включения задания в тест является соответствие специфике и элементу области содержания.

5. РАСПРЕДЕЛЕНИЕ ИСПЫТУЕМЫХ по индивидуальным баллам имеет различный характер для обоих видов тестов. Для нормативно-ориентированного теста кривая распределения симметрична и близка к гауссовой кривой. В случае критериально-ориентированного теста эта кривая несимметрична и обычно сдвинута в область высоких индивидуальных баллов.

6. ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ.

Поскольку цели нормативно-ориентированного и критериально-ориентированного тестирования различны, то и интерпретация полученных данных будет различной.

Результаты нормативно-ориентированного тестирования интерпретируются на основе статистически обоснованных тестовых норм. При этом имеется возможность определить положение испытуемого относительно нормативной группы. Информации же о том, какие как усвоены те или иные разделы, элементы области содержания, нормативно-ориентированный тест дает мало.

Результаты критериально-ориентированного тестирования интерпретируются с точки зрения полноты освоения области содержания, согласно детальной спецификации теста.

Ниже приведена таблица, содержащая сравнение характеристик обоих типов тестов.

Таблица. Сравнительные характеристики нормативно-ориентированных и критериально-ориентированных тестов

Нормативно - ориентированные тесты	Критериально - ориентированные тесты
1. Цель тестирования: возможность сравнения уровня подготовки испытуемых друг с другом в той области содержания, для которой тест предназначен. Пример использования: конкурсный отбор кандидатов на обучение.	1. Цель тестирования: возможность аттестации испытуемого в соответствии с его уровнем усвоения определенной области содержания. Пример использования: итоговая аттестация уровня обученности студентов, уровня профессиональной подготовки кадров.
2. Используемые шкалы: нормативные (или стандартные) шкалы. Необходимо указание среднего значения и стандартного отклонения в выбранной шкале.	2. Используемая шкала - в основном, шкала процентов с выбранным одним (или несколькими) критериальным баллом (баллами). Особое внимание уделяется методики оптимального выбора критериального балла (или баллов).
3. Распределение индивидуальных баллов: близко к нормальному, в большинстве случаев имеет симметричный вид.	3. Распределение индивиду-альных баллов: произвольное, в большинстве случаев асим-метричное и имеет несимметричный вид.
4. Уровень детализации области содержания - несущественен. Авторы теста выбирают наиболее значимые элементы содержания.	4. Уровень детализации области содержания - подробный. Авторы теста разрабатывают спецификацию (план) теста, включающую все элементы содержания. Затем по этой спецификации разрабатываются задания.
5. Нормативная группа испытуемых обязательна. Обработанные (или шкалированные) баллы по результатам нормативно-ориентированного тестирования базируются на статистических данных нормативной группы, то есть специфической достаточно большой выборке испытуемых. В большинстве случаев применяются специальные нормативные таблицы, где каждый индивидуальный балл для данного теста имеет однозначное соответствие с процентильным эквивалентом, определенным на нормативной группе.	5. Нормативная группа испытуемых не является необходимой. Индивидуальный балл испытуемого интерпретируется по отношению к доле учебного материала успешно им освоенного. Чаще всего балл студента отражает процент правильно выполненных заданий и выражается шкале процентов.
6. Статистический анализ и отбор тестовых заданий. Статистические показатели тестовых заданий (в основном это уровень трудности и различающая способность) играют важную роль в отборе заданий. Выбираются задания со средним уровнем трудности (от 0,3 до 0,7) и высокой различающей способностью (большей 0,3). Существуют ряд других важных статистических показателей качества заданий.	6. Статистический анализ и отбор тестовых заданий. Уровень трудности и различающая способность заданий не является существенными факторами включения в состав теста, или наоборот исключения из него. Главное условие отбора заданий - это их соответствие (их конгруэнтность) спецификации и элементу содержания. Статисти-ческие характеристики тестовых заданий используются для составления параллельных форм (вариантов) теста и для выбора оптимального критериального балла.
7. Надежность теста. Оценивается либо путем нахождения корреляциимежду результатами двух тестирований, либо методом расщепления теста на две половины при однократном тестировании.	7. Надежность теста. Оценивается степенью постоянства принятия решения «зачет – незачет» при двукратном тестировании.
8. Валидность. Наряду с содержательной валидностью для тестов конкурсного отбора учащихся особое внимание уделяется высоким показателям прогностической валидности.	8. Валидность. Особое внимание уделяется содержательной валидности. В случае принятия важных решений по результатам тестирования исследуются критериальная и конструктная валидность.

Подытоживая, отметим, что нормативно-ориентированные и критериально-ориентированные тесты сильно отличаются друг от друга. При использовании тестов необходимо придерживаться следующих правил:

1) нельзя использовать критериально-ориентированный тест в качестве нормативно-ориентированного и наоборот;

2) нельзя использовать один и тот же тест и в качестве нормативно-ориентированного и в качестве критериально-ориентированного.

Нарушение этих правил приводит к получению тестовых результатов, обладающих низкой надежностью и большой ошибкой измерения.