Справочное пособие по конструированию тестов

       

Стимульно-инструктивная ситуация


Стимульно-инструктивная ситуация изменяется в зависимости от ряда параметров:

(1) Реакция или ее отсутствие. В общем требуется реакция на стимул. Но это не всегда так, как, например, в тестах на чувствительность к боли.

(2) Ограниченность versus неограниченность способов реагирования. В тестировании не известны случаи неограниченного разнообразия ответов. Предполагается, что испытуемые (как аргументируют Кэттелл и Уорбертон) не будут жевать материал тестов или портить его. Однако ответы могут быть относительно свободными, как, например, в тесте Роршаха, или с накладываемыми на них ограничениями, как при измерении времени реакции.

(3) Ответы, придуманные (созданные самостоятельно) versus отобранные из набора вариантов. Значение этого параметра очевидно. Примером последних являются ответы типа "правда-неправда'', а примером первых – описание рисунков Теста тематической апперцепции (Thematic Apperception Test – TAT).

(4) Единичные versus повторяющиеся ответы.

(5) Последовательность ответов: упорядоченная versus неупорядоченная. Это относится к тому, до какой степени от испытуемых требуется давать ответы в определенном порядке.

(6) Однородность versus разнородность ответов. В некоторых тестах требуются ответы одного и того же вида, а в других предусмотрены ответы различных типов.

(7) Естественность темпа versus ограниченность времени на ответы. Сравните такие инструкции, как, например: "Работайте со свойственной вам скоростью", "Не тратьте слишком много времени на каждый вопрос" и "Работайте настолько быстро, насколько это возможно."

(8) Завершенность (окончательность) реакции versus реагирование на реакцию. Испытуемый реагирует либо на материал теста, либо на свою собственную реакцию, например, тот или иной стимул как-либо оценивается, вызывает ассоциации или воспоминания.

Cattell и Warburton (1967) считают, что это основные, не требующие дополнительной аргументации, параметры вариативности, связанные со стимульно-инструктивной ситуацией.
Однако, ими представлены и три других, более субъективных параметра, которые при разработке объективных тестов могут приобрести особое значение.

(9) Явный смысл versus неявный. Некоторые тесты не имеют никакого вне их лежащего значения, такие как измеряющие время реакции. Однако в определенных тестах (там, где интересуются мнением о чем-либо) это присутствует. Большинство видов искажений и сложностей, связанных с субъективным истолкованием слов и понятий возникают именно в тех тестах, значение которых неявно.



(10) Представление теста в виде отдельных заданий versus целостное представление. Этот параметр касается различий между тестами, состоящими из отдельных заданий или из одного единственного.

(11) Психологическая сущность действия, необходимого для выполнения задания. Этот параметр учитывает, требуется ли для ответа: (а) знания (напр., верное суждение); (б) мнение о чувствах, отношениях; или (в) опознание или распознание.

Как утверждают Cattell и Warburton (1967), существуют еще два параметра:

(12) Различия в мотивах приемлемости ситуации тестирования.

(13) Различия в свободе выхода из ситуации тестирования.

Вышесказанное обуславливает существование 2 типов стимульно-инструктивных ситуаций.

Значение приведенных классификационных принципов огромно: если бы мы конструировали такой материал для объективных тестов, в целом содержавший бы в себе все эти параметры, то использовали бы все возможные виды материала. Это особенно важно, поскольку при применении этих тестов всегда есть опасность, что для данного теста специфично проявляется больше вариативности, чем это желательно.

Как уже говорилось, еще одним важным источником различий между тестами является то, каким образом обрабатываются показатели, полученные с их помощью. Cattell и Warburton (1967) в исследовании ответов на тесты вводят некоторые параметры обработки показателей по тесту. Хотя эти параметры и не являются полностью независимыми от стимульно-инструктивных параметров, приведенных выше, они существенно отличны.



Прежде чем перейти к описанию этих параметров, следует подчеркнуть, что ответы на тесты образуют весьма значительное число переменных. Например, если бы мы рассматривали в качестве объективного теста личностный опросник, то, в добавление к стандартной шкале подсчета показателей могли бы быть вычислены следующие переменные: время выполнения теста, время выполнения половины теста, количество подтвержденных ответов "да", количество подтвержденных ответов "нет", количество альтернативных ответов, количество пропущенных заданий, количество неопределенных ответов ("не знаю", "не уверен"). Следует заметить, что все эти показатели, в отличие от показателя по стандартной шкале, являются объективными, поскольку ни один испытуемый не может знать, что они измеряют, и они могут быть измерены с высокой надежностью, не зависящей от лица, проводящего тестирование.

Параметры оценивания ответов

(1) Объективность versus субъективность оценивания. Этот момент касается в основном тех тестов, в которых используются задания на самооценку. Будет ли ответ испытуемого оцениваться так, как это предполагается инструкцией или каким-либо неизвестным для него образом? В этом нет никакого обмана для испытуемых. Например, объективным тестом является тест критических оценок (Critical Evaluations Test, Т8, Cattell и Warburton (1967)). В нем испытуемых просят указать, является ли определенная производительность труда, – например, если у официантки уходит десять минут на то, чтобы принести шесть порций на столик, – очень хорошей, хорошей, плохой, очень плохой. А в этом тесте между прочим определяется количество критических оценок. Субъективное содержание заданий не имеет отношения к оценке. Таким образом, этот тест, внешне напоминающий опросник, является, фактически, полностью объективным, как это и определено в начале данной главы. Разумеется, все те тесты, которые будут обсуждаться в этой главе, являются объективными в смысле этого первого параметра.

(2) Целостное поведение (весь организм) versus физиологическая реакция (часть организма).


Типичной физиологической реакцией может быть покраснение от смущения или тремор.

(3) Измерение одного возможного ответа versus классификация разнообразных ответов (параметрическое оценивание versus непараметрическое) . Параметрически измеряются такие особенности ответа: время, количество ошибок, повторений. Непараметрически раскрывается количество и разнообразие классов ответов. В этом смысле многие тесты на креативность оцениваются непараметрически.

(4) Общее количество ответов versus часть, соответствующая некоторому критерию. Это пересекается с описанным выше третьим параметром, поскольку, как указывают Cattell и Warburton, различные оценки могут быть любой из указанных здесь категорий.

(5) Единый однородный показатель versus разнотипные относительные показатели. Определить единый показатель можно только тогда, когда тест оценивается в целом, как в случае личностных опросников. Разнотипные относительные показатели могут определяться в следующих формах: различия во времени выполнения первой и второй частей теста; запоминание материала при обычных условиях и при отвлекающих обстоятельствах. И, наконец, Cattell и Warburton добавили шестой параметр: (6) Нормативное оценивание versus ипсативное (личностное). Однако этот параметр, по-видимому, представляет совершенно иной тип классификации, чем та, о которой шла речь выше, так как он оказывает влияние на все тесты и более правильно было бы отнести его к области стандартизации, а не конструирования тестов. Если мы примем в рассмотрение и этот параметр, у нас получится 26 возможных типов оценивания ответов.

Таким образом, выделенные параметры, связанные со стимульно-инструктивной ситуацией и оцениванием ответов, позволят нам конструировать тесты любого типа. Однако, такой подход, хотя и является полезным, все же не может помочь нам в том, что касается содержания объективных тестов. Кроме того, показано, что потенциальное количество типов объективных тестов действительно огромно: 213x26, что значительно больше 50000.


Многие из них, однако, нежизнеспособны, но даже при этом их количество все еще слишком велико. Выделенные параметры указывают, до какой степени могут различаться задания каждого возможного типа объективных тестов, которые проходили испытания. Мы никогда не будем испытывать недостатка в заданиях!

Для использования в практике конструирования объективных тестов эта классификационная схема должна быть сокращена. Кэттелл и Уорбертон подчеркивают, что особую важность имеют шестьдесят четыре варианта, полученные из трех наиболее важных ситуаций и параметров оценивания, генерирующих по восемь возможных вариантов. Огромное количество тестов в их сборнике не покрыло все шестьдесят четыре типа, так что такая краткая версия таксономии тестов также еще оставляет пространство деятельности для творческого разработчика тестов. Такая таксономия, основывающаяся на характеристиках тестов, может помочь разработчику создавать разнообразные тесты, но есть одна основная трудность: как мы узнаем, что созданные средства измерения будут измерять, например, переменные темперамента, а не другие? Иными словами, как нам получить тест для измерения темперамента, а не, например, способностей? Данная таксономия в этом помочь не может, и разработчику тестов нужна дальнейшая информация.

Различия между объективными тестами способностей, темперамента и динамики (мотивов)

Один из методов определения того, что же измеряют объективные тесты, – подвергнуть их факторному анализу вместе с хорошо известными отличительными переменными (маркерами) этих трех модальностей (способностей, темперамента, мотивов). С помощью факторного анализа будет выяснено, переменные какой модальности измеряет данный тест. Однако, хотя это и эффективная процедура, необходимая до реального использования любого объективного теста, она не указывает нам, как можно сконструировать тест нужного нам типа. Это лишь адекватное средство проверки, но не руководство для конструирования тестов.

Cattell и Warburton (1967) посвятили обсуждению этой проблемы довольно много места, а здесь мы лишь кратко подытожим их рассуждения, поскольку они обеспечивают некоторое рациональное основание для выбора содержания заданий (в дополнение к таксономии, призванной помочь в выборе формы тестов).



(1) Различаются два вида ситуаций (ситуационализм, фактически, не является противоположностью психологии черт): побуждающие (incentives) и связанные с осуществлением действия (complexities).

(2) При изменении побудителей (incentives) изменяются показатели динамических тестов. При изменении деятельностей (complexities) изменяются также показатели тестов способностей. Тесты темперамента включают все остальные ситуации.

(3) Определение побудителей (incentives): побудители порождают стремление к некоторой цели и являются символом цели или удовлетворения от достижения цели, что само по себе может быть выявлено только анализом этого процесса. Это статистический анализ последовательности поведения во времени. Данная последовательность является набором действий, ведущих к достижению цели. Побуждающая ситуация, таким образом, распознается по ее отношению к цели (то есть по общим колебаниям в силе стремления и постоянству доминирования). Kline и Grindley (1974) действительно показали именно такие флуктуации между динамическими измерениями и ситуациями.

(4) Определение деятельностей (complexities). Когда побудители в данных обстоятельствах уже распознаны, можно определить и деятельность: это все то, что не является побудителем.

(5) Конечно, на практике это означает, что измерение динамики и способностей тесно взаимосвязано. Однако, могут быть получены относительно "чистые" средства измерения для каждой из этих областей. Например, если бы у нас были очень простые средства измерения способностей, то различия в показателях отражали бы не способности, а динамику (например, насколько испытуемые старательно выполняют задание). Таким образом, можно так управлять уровнями деятельностей и побудителей, что объективные тесты могут стать практически ''чистыми" средствами измерения каждой модальности.

(6) Нет необходимости говорить, что все тесты, сконструированные таким образом, должны быть подвергнуты проверке при помощи факторного анализа. Нужно убедиться, что то, что они измеряют, соответствует тому, что от них ожидали.


Все тесты, предположительно измеряющие способности, должны дать близкие результаты, то же касается измерения мотивационных, динамических переменных.

С этим логическим обоснованием, с различиями между побудителями и деятельностями, у разработчика объективных тестов уже есть некоторое руководство, по крайней мере относительно выявления того, что его тесты измеряют, хотя все они по-прежнему должны подвергаться последующей проверке факторным анализом.

Однако, как сейчас должно быть очевидно читателю, эти принципы и таксономии интересны и, возможно, могут явиться стимулом к работе, но, вероятно, слишком абстрактны для практического использования при конструировании реальных тестов. Cattell и Warburton ( 1967), осознавая это, в своей работе чистосердечно признают, что при конструировании объективных тестов им помогало лишь интуитивное предвидение, основанное на значительном опыте исследований в этой области. Это мы сейчас кратко и обсудим.

Практические советы для разработки объективных тестов личности и мотивов

Следует избегать следующих пяти ошибок, которые Cattell и War-burton (1967) у поминают как распространенные среди любителей, и о которых необходимо знать, прежде чем приступать к работе по конструированию объективных тестов.

(1) Не останавливайтесь на очевидно валидных заданиях из опросников.

(2) Не применяйте задач или заданий-головоломок (загадок). С их помощью вы скорее всего будете измерять факторы способностей.

(3) Не возлагайте слишком большие надежды на "стрессовую ситуацию". Как утверждают Cattell и Warburton (1967), это может сработать для выявления агрессии или страха, но ведь есть еще и другие эмоции.

(4) Эстетические и стилистические предпочтения могут эффективно выявить лишь некоторые аспекты личности. Однако, будет абсурдом ожидать, что такие тесты выявят все возможные аспекты. Нужно учитывать тот очевидный факт, что на ответы по этим тестам влияют уровень образования и культуры.

(5) Избегайте упрощенных способов использования проективных тестов.Wenig (1952) показал, что такие тесты диагностируют весьма широкий комплекс параметров, требующий факторно-аналитического исследования.

(6) Используйте задания-вопросы, точно соответствующие определенным типам поведения.

Вышесказанное является основой для создания эффективных объективных тестов.

Решение некоторых общих проблем, связанных с объективными тестами

Существует ряд проблем, из-за которых интерпретация показателей любого теста (не только объективного) может стать сомнительной, и их следует учитывать при конструировании объективных тестов. Подробное обсуждение этих проблем, к которому можно отослать читателей, представлено в книге Cattell и Warburton (1967). Кратко подытожим те положения, о которых идет речь в этой работе.


Содержание раздела