|
Тема 4. |
|
Использование компьютера в психодиагностической работе психолога
Содержание
1. Особенности диагностической работы практического психолога
2. Компьютерная психодиагностика
3. Структура предмета компьютерной психодиагностики
4. Компьютерные тесты учебных достижений
1. Особенности диагностической работы практического психолога
В компетенцию и обязанности детского психолога входит выявление особенностей психического развития ребенка, сформированности определенных психологических новообразований, соответствия уровня развития умений, знаний, навыков, личностных и межличностных особенностей возрастным ориентирам, требованиям общества и др. Поэтому именно психодиагностика как деятельность по выявлению психологических причин проблем, трудностей в обучении и воспитании отдельных детей, по определению особенностей развития их интересов, способностей, сформированности личностных образований находится в центре внимания психологической службы образования и имеет свою специфику. Задача психодиагностики - дать информацию об индивидуально-психических особенностях детей, которая была бы полезна им самим и тем, кто с ними работает,- учителям, воспитателям, родителям.
Психодиагностика в системе психологической службы образования имеет свои принципиальные особенности. В ряде исследований отечественных и зарубежных психологов отмечается необходимость различать психодиагностику научно-исследовательскую и научно-практическую. Научно-практическая психодиагностика ориентируется на различные задачи общественной практики, в нашем случае — на задачу психического развития и укрепления психологического здоровья детей дошкольного и школьного возраста.
Иными словами, если задача первой - установить определенные закономерности психического развития, то цель второй - ответить на конкретный вопрос, выявить причину определенного психологического явления. При этом диагностика не является самоцелью для практического психолога, она всегда подчинена главной задаче - разработке рекомендаций по развитию тех или иных способностей ребенка, преодолению трудностей и нарушений в развитии и т.п.
Психодиагностика в образовательном учреждении должна быть тесно связана с педагогической проблематикой, в этом ее основной смысл. Она всегда предполагает в конечном счете выбор наиболее подходящего педагогического воздействия, а также создание тех или иных психологических условий.
Учитывая специфику диагностики в системе психологической службы образования, некоторые исследователи определяют ее как психолого-педагогическую диагностику и основными задачами считают: во-первых, контроль динамики психического развития детей, обучающихся и воспитывающихся в детских учреждениях, и его коррекцию с целью создания оптимальных возможностей и условий развития для слабых и сильных учащихся, подтягивания их на более высокий уровень, а также установления правильного направления развития детей, обнаруживающих особые способности; во-вторых, сравнительный анализ развивающего эффекта различных систем воспитания и обучения с целью выработки рекомендаций для повышения их развивающей функции.
Специфика психодиагностики в психологической службе образования заключается и в том, что мы не можем ее принять в традиционном понимании как «дисциплину о методах классификации и ранжирования людей по психологическим и психофизиологическим признакам». Перед практическим психологом стоит задача изучения того, как конкретный ребенок познает и воспринимает сложный мир знаний, социальных отношений, других людей и самого себя, как формируется его целостная система представлений и отношений, как происходит развитие его индивидуальности. В основе практической психологической диагностики - целостное изучение личности ребенка в ее взаимодействии с окружающей средой, утверждал Л. С. Выготский. Всякое развитие в настоящем базируется на прошлом развитии и имеет перспективу в будущем.
Таким образом, измерение той или иной психической функции или выявление личностной характеристики вне контекста целостного развития ребенка не имеет смысла для практического психолога.
Психодиагностика характеризуются широким спектром методических подходов. Многообразие этих подходов обусловливает существование различных систем классификации психодиагностических тестов.
С позиций формального анализа классификацию целесообразно строить на сравнительно самостоятельных элементах психодиагностического эксперимента, отражающих его внешнюю сторону. К ним относятся воздействие на испытуемого в ходе эксперимента (стимулы), ответы (отклики) испытуемого на это воздействие и операции с информацией, рожденной реакциями испытуемого на стимулы. Соответственно, основанием для классификации психодиагностических методик могут служить различные сочетания форм тестовых заданий со способами реагирования испытуемых, дополненные характеристиками процедур обработки экспериментальных данных.
В таблице 1 представлены формы тестовых заданий психодиагностических методик. В этой таблице все виды стимулов разделены на вербальные и невербальные. В свою очередь, среди вербальных вычленяются стандартизированные и индивидуально-ориентированные стимулы, а невербальные включают в себя статические и динамические стимулы. Вербальные стимулы - это вопросы, утверждения и задания, выраженные словами. Стандартизированные стимулы являются одинаковыми для всех испытуемых, в то время как индивидуально ориентированные подбираются персонально для каждого испытуемого. Невербальные стимулы - это картинки, фигуры, значки, пятна и т.п. Кроме того, невербальные стимулы могут обращаться к сфере не только зрительного восприятия, а и других чувств (слух, осязание, обоняние, вкус). Параметры статических невербальных стимулов постоянны во времени, а у динамических объектов могут изменяться форма, цвет, высота тона звука и т.д.
Характеристика форм тестовых заданий дополняется описанием порядка предъявления стимулов в процессе психодиагностического эксперимента. Этот порядок может быть фиксированны и переменным. Разновидностью переменного порядка является случайное предъявление стимулов, которое применяется, например, для организации рандомизированного исследования. Другая разновидность связана с использованием в ряде психодиагностических методик обратной связи с испытуемым, когда содержание и форма текущего стимульного материала зависят от реакций испытуемого на предыдущие стимулы.
Таблица 1. Виды тестовых заданий
Виды стимулов |
Порядок предъявления стимулов |
|||||
Вербальные |
Невербальные |
Фиксиро-ванный |
Переменный |
|||
Стандар-тизирова-нные |
Индивидуально- ориентированные |
Статичес-кие |
Динамиче-ские |
Случайный |
С обратной связью |
|
Способы ответов испытуемого на тестовые стимулы разделяются на закрытые, открытые и динамическое реагирование через органы управления (табл. 2). При закрытом способе все ответы в совокупности образуют полную группу, или, иными словами, все возможные виды ответов заранее известны. Эти ответы могут осуществляться в форме выбора из "меню ответов" (в зависимости от объема меню различают методики с альтернативным и множественным выбором), с помощью оценивания какого-либо признака по заданной шкале, путем восстановления частей предложений, фигур и т.д., а также посредством переструктурирования данных. Открытые способы предполагают ответы испытуемого на предъявляемые стимулы в свободной форме. При этом могут быть регламентированы лишь самые общие требования к форме ответа (вербальная или невербальная, ориентировочные объем и время). Открытые способы включают в себя ответы в виде дополнения заданного стимула и ответы, в которых полностью допускается свободное конструирование. При динамическом реагировании через органы управления используются перцептивные и моторные способности испытуемого.
Таблица 2. Виды ответов на тестовые задания
Закрытые |
Открытые |
Динамическое реагирование |
||||
Выбор |
Оценивание по заданной шкале |
Восстанов-ление частей |
Переструк-турирование |
Дополнение |
Свободное конструи-рование |
|
Выделяют следующие возможные форм сочетаний тестовых заданий с видами ответов испытуемых.
Стимулы — вербальные, стандартизированные Ответы — закрытые, типа "Выбор"
Сочетание вербальных стандартизированных стимулов крытыми ответами типа "Выбор" определяет самый обширный круг психодиагностических методик — тесты-опросники. 3адания в этих тестах представлены в виде вопросов или утверждений, относительно которых испытуемый выносит суждения (наиболее часто используется двух или трехальтернативный выбор, например, "Верно", "Неверно", "Не могу сказать"). По содержанию среди тестов-опросников условно выделяют опросники-анкеты, биографические опросники и личностные опросники.
Опросники-анкеты предназначены для получения какой-либо информации об обследуемом, не имеющей непосредственно ношения к его личностным особенностям. Биографические опросники ориентированы на получение данных об истории жизни человека. Наиболее типичные вопросы в них относятся к уровню и характеру образования, специальным навыкам и другим относительно объективным показателям. Информация, даваемая биографическими опросниками, как правило, является вспомогательной для получения достоверной интерпретации результатов психодиагностических тестов, но может носить и собственно диагностический и прогностический характер.
Личностные опросники представляют наиболее объемную группу тестов-опросников. Они предназначены для измерения различных особенностей личности. Одна и та же психологическая переменная в этих опросниках отражается группой пунктов (не менее 6-7). Пункты могут быть прямыми, апеллирующими непосредственно к опыту субъекта (например, "Боитесь ли Вы темноты?"), либо к мнениям, суждениям испытуемого, в которых косвенно проявляется его личный опыт или переживания (например "Большинство людей честны").
Опросники строятся как одномерные, представляющие одну переменную, или как многомерные, одновременно отражающие несколько личностных показателей. Среди личностных опросников выделяют опросники черт личности, типологические опросники, опросники мотивов, интересов, ценностей и установок. При конструировании опросников черт личности используется подход, базирующийся на выделении групп тесно связанных личностных признаков.
Применение тестов-опросников характеризуется малой степенью вовлеченности психодиагноста в процедуру обследования. Алгоритмы обработки результатов этих тестов, как правило, представляют собой несложную процедуру подсчета количества совпадений ответов испытуемого с так называемым диагностическим ключом и последующее приведение полученных результатов к стандартизированному виду. Автоматизация подобного тестирования с помощью современных компьютеров является несложной технической задачей. Основные трудности встречаются на этапе формирования автоматизированной интерпретации данных многомерных тестов-опросников.
"Ручное" использование тестов-опросников предполагает фиксированный порядок предъявления стимулов. Изменение этого порядка на случайный приводит к рандомизированному типу психодиагностического эксперимента. Включение с помощью компьютера обратной связи обеспечивает проведения так называемого адаптивного тестирования.
Стимулы — невербальные статические Ответы—закрытые, типа "Выбор"
Методики данного типа применяются, например, для исследования пространственного воображения, комбинаторных способностей и способностей соотнесения невербальных стимулов к определенному классу из заданного алфавита классов.
Обработка результатов в данном случае сводится к оценке количества правильно произведенных выборов. В качестве диагностического параметра нередко используется время решения заданий теста. Очевидно, что современные компьютеры, обладающие развитыми изобразительными средствами, позволяют полностью автоматизировать подобные методики. При этом в качестве стимулов могут выступать не только статические, но и динамические объекты.
Стимулы — вербальные стандартизированные, невербальные статические Ответы — закрытые, типа "Восстановление частей"
Психодиагностические методики рассматриваемого типа являются, по сути, модификацией тестов с множественным выбором. Отличительной особенностью этих методик является то, что испытуемым предлагается самим сформулировать (сконструировать) ответ, не прибегая к меню возможных ответов. Таким образом, испытуемый не ограничен какими-либо рамками в своих ответах. В то же время при данном подходе предполагается, что существуют правильные ответы на задания теста, которые могут быть выражены в достаточно определенной форме.
Обработка результатов обследования с помощью психодиагностических методик рассматриваемого класса в достаточной степени формализована. Диагностическими признаками здесь выступают количества правильно выполненных заданий. Также в ряде случаев ценная диагностическая информация содержится в параметрах временной динамики выполнения теста.
Стимулы — вербальные стандартизированные, невербальные статические Ответы — закрытые, типа "Переконструирование"
Тестовые задания, предполагающие ответы типа "переконструирование данных", заключаются в составлении комбинаций из заданного алфавита вербальных или невербальных элементов. Как правило, считается известной "правильная" комбинация элементов, но это не является обязательным условием, так как оценке могут подлежать такие параметры, как, например, оригинальность созданной композиции. В качестве типичного примера можно привести субтест последовательности картинок в шкале измерения интеллекта Векслера. С помощью этого субтеста исследуется способность испытуемого к организации фрагментов в логическом поле, пониманию ситуации и предвосхищению событий. В задании предлагается 8 серий картинок, обобщенных каким-либо сюжетом, в соответствии с которым, испытуемый должен разложить картинки в определенной последовательности. Оценка в данном субтесте зависит от правильности и времени решения.
Обработка результатов обследования с помощью методик рассматриваемого типа может содержать как количественный, так и качественный компоненты. Но в целом ограниченный алфавит стимулов, подвергающихся переструктурированию, и соответственно, ограниченный и известный набор возможных комбинаций дает основание отнести указанные методики к достаточно четко структурированным и допускающим сравнительно высокую степень формализуемости процедуры обработки экспериментальной информации.
Стимулы — вербальные стандартизированные, невербальные Ответы — закрытые, типа "Оценивание значения признака по заданной шкале"
Психодиагностические методики данного типа связаны с оценкой различных объектов (словесных утверждений, изобразительного материала, конкретных лиц и т.п.) по выраженности в них качества, заданного шкалой (например, "теплый - холодный", "сильный - слабый" и т.д.).
Технология применения методик данного типа сопряжена с большим количеством вычислений, которые необходимы для реализации любого алгоритма из богатого арсенала алгоритмов анализа таблиц обьект-признак. Поэтому психодиагиосту, желающему использовать ту или иную шкальную технику оценивания, компьютер будет служить эффективным подспорьем. В то же время интерпретация результатов подобного компьютерного анализа экспериментального материала трудно формализуема и основной акцент в такой интерпретации приходится на психодиагноста, который помимо своих профессиональных знаний должен хорошо представлять особенности алгоритмов выявления структуры многомерных данных. Расширение методик: указанного типа возможно с помощью компьютерного моделирования динамических объектов.
Стимулы — вербальные и невербальные индивидуально ориентированные Ответы — закрытые, типа "Оценивание значения признака"
Стимулы — вербальные стандартизированные Ответы — открытые, типа "Дополнения"
Примером психодиагностических методик данного типа может служить методика завершения предложений. Обследуемому предлагается серия незаконченных предложений, состоящих из одного или нескольких слов, с тем, чтобы он их завершил по своему усмотрению. Предложения в данной методике формулируются таким образом, чтобы стимулировать испытуемого на ответы, относящиеся к изучаемым свойствам личности. Другим примером является методика завершения историй. Здесь в отличие от предыдущий методики в качестве стимула выступает небольшой рассказ. Данные методики в нашей стране применяются преимущественно в клинико-диагностических исследованиях.
Стандартизация рассматриваемых методик достигается путем отнесения произвольных ответов испытуемого к некоторому опорному множеству психологических категорий. Открытые опросники предполагают использование контент-анализа, Для решения задач контент-анализа компьютеры начали применяться в 60-х годах. Составление вычислительных программ для такого анализа является трудоемким делом. Поэтому компьютеризация данных методик проблематична. Здесь важно правильно оценить выигрыш, который может дать машинная обработка по сравнению с ручным анализом произвольных ответов. А это, в свою очередь, зависит от конкретных задач исследования, объема материала, подлежащего анализу, и от степени его формализуемости.
Стимулы — невербальные статические Ответы — открытые, типа "Дополнения"
Показательным примером методики дополнения невербальных стимулов является рисуночный тест Вартегга. Стимульный материал этого теста состоит из 8 стандартных, ограниченных белым пространством графических знаков, расположенных на черном поле. Обследуемому необходимо в имеющемся пространстве выполнить рисунки с учетом изображенных знаков. При интерпретации результатов исходят из определенных свойств, приписываемых графическим знакам. Учитываются также содержание рисунков и их графическое исполнение.
Стимулы — вербальные стандартизированные Ответы — открытые, типа "Свободное конструирование"
Для психодиагностических методик, предполагающих ответы в форме свободного конструирования, стимулы могут быть самыми разнообразными — как вербальными, так и невербальными. То же самое можно сказать и о виде ответов испытуемых — это могут быть рисунки на заданную тему, рассказы, интерпретации изображений и т.д. В данной группе методик основная доля приходится на проективные тесты.
В качестве примеров можно привести два популярных теста — тест Роршаха, в котором испытуемый должен придать смысл симметричным аморфным черно-белым и цветным изображениям и тест тематической апперцепции (ТАТ), основанный на толковании испытуемым сюжетов специально подобранных картинок.
В проективных методиках количественные диагностические оценки могут быть получены на основании измерения объема ответа испытуемого, подсчета частоты обращения к отдельным темам и т.п. На практике использование проективных методик часто опирается на интуицию и теоретическую подготовку психодиагноста.
Стимулы — невербальные динамические Ответы — динамическое реагирование через органы управления
Рассматриваемое сочетание стимулов и ответов соответствует классу психодиагностических методик, которые обычно называют аппаратурными тестами. Эти тесты используются в исследованиях параметров времени реакции (реактометры, рефлексометры), типологических особенностей высшей нервной деятельности и пр. Наличие обратной связи между ответами (реакциями) испытуемого и стимулами свойственно большому количеству критериально-ориентированных аппаратурных тестов, в которых моделируются условия какой-либо критериальной деятельности. На экране дисплея компьютера могут моделироваться разнообразные виды деятельности, имитироваться объекты слежения, управления и т.д. Параллельно с помощью специальных датчиков и микропроцессорных контроллеров может производиться съем и ввод в компьютер психофизиологической информации. Отдельно можно выделить также подкласс аппаратурных тестов, который в настоящее время стал активно развиваться и в котором моделирование опосредуется компьютерными играми. Самостоятельное направление связано с созданием мультимедиа-систем, погружающих испытуемого виртуальную реальность.
Стимулы — вербальные индивидуально ориентированные Ответы — открытые
Этот класс методик можно определить как диалогические техники, в
которых предполагается непосредственный контакт психодиагноста с обследуемым и
учитываются специфические особенности конкретной диагностической задачи.
Разумеется, диалогические техники наименее формализуемы и в них более всего
важно живое взаимодействие эксперта и обследуемого. Можно предположить, что в
будущем с развитием средств общения с компьютером на естественном языке
диалогические техники смогут занять свое место в компьютерной психодиагностике.
2. Компьютерная психодиагностика
Психологическая диагностика, являясь неотъемлемой составной частью психологической науки, в настоящее время решительно вышла за рамки собственно научных исследований, став инструментом целенаправленной практической деятельности психологов, врачей, педагогов, социологов и других специалистов.
Компьютеры позволяют моделировать клинико-психологические исследования, проводимые специалистом с помощью не другого человека, а технических средств. Учитывая непрерывно возрастающие возможности компьютеров в вычислениях, логических операциях, памяти, быстродействии, можно отметить, что те ограничения, которые существовали в методологическом аппарате психологических тестов и были связаны с ограниченными возможностями человека, снимаются.
Уже сейчас отчетливо выявляется прогрессивная эволюция компьютерной психодиагностики. На первых этапах компьютеры использовались для вычисления шкальных оценок и специальных числовых индексов, а также графического представления "профилей". Стала доступной текстовая интерпретация результатов тестирования, т.е. собственно психодиагностическое заключение. Однако первые варианты интерпретации носили существенно схематический характер, использовали простейшие логические процедуры перехода от числовых оценок к психологическим характеристикам.
Компьютерные версии тестов могут быть полезны в работе, как начинающих, так и опытных психологов, врачей, педагогов и других специалистов. Для начинающих может иметь существенное значение сокращение времени обучения работе с психологическим тестом.
Компьютерная программа освобождает обучающегося от необходимости запоминать большой объём информации по проведению эксперимента и анализу данных, по крайней мере, в формализованной их части. Таким образом, психолог может существенно быстрее начинать работать с осваиваемым тестом на некотором гарантированном уровне качества этой работы. Безусловно, при небольшом опыте работы с тестом вероятность ошибок будет меньше при использовании компьютерной версии теста. По мере нарастания личного опыта психолога сложности интерпретации получаемых данных могут сначала приближаться по уровню к компьютерной интерпретации, а затем, возможно, и превосходить этот уровень. Однако следует учитывать, что сделать это не просто, так как компьютерная программа, с правило, аккумулирует опыт высококвалифицированных специалистов, участвовавших в создании программы.
Психологам, имеющим большой опыт психодиагностической работы, использование компьютеров позволяет избавиться от рутинной части работы с тестом, такой как подсчет сырых оценок, перевод их в шкальные, подсчет индексов, построение графиков ("профилей") и проч. Кроме того, такой психолог может рассматривать результаты компьютерного тестирования как предварительные и может осуществлять дополнительный анализ и интеграцию по своему усмотрению, руководствуясь логикой и задачами исследования. Важно отметить, что компьютер существенно облегчает возможность качественного, а не только количественного анализа получаемых данных. Так, компьютер делает легко доступным просмотр ответов на интересующие психолога вопросы. Компьютер сам может отбирать и группировать вопросы и ответы тематическим критериям. Таким образом, при психологической психодиагностике психолог может ознакомиться с содержанием ответов испытуемого в существенно большей степени, нежели при тестировании, проводимом без компьютера. Кроме того, компьютер позволяет легко получать временные характеристики реакций испытуемого на предъявляемые ему стимулы и легко анализировать эти характеристики. Например, могут быть выделены те вопросы, ответы на которые потребовали наибольшего времени по сравнению с другими вопросами, что потенциально может свидетельствовать об их большем личностном значении для испытуемого.
Преимуществом компьютерной психодиагностики является возможность, с одной стороны, после проведения тестирования напечатать протокол исследования и психодиагностическое заключение для истории болезни или другой документации, а с другой стороны, поместить эти данные в компьютерный банк данных для последующего их использования, в частности как справочного материала для статистического анализа и т.д.
При компьютерной психодиагностике значительно понижается вероятность ошибок, связанных с человеческим фактором: психо-эмоциональным состоянием экспериментатора, большей или меньшей его заинтересованностью в результатах исследования и т.п. Гарантируемая при компьютерной психодиагностике абсолютная беспристрастность имеет особое значение в ситуациях экспертизы.
Не менее важным является то, что автоматизация психодиагностики позволяет проводить массовые обследования, связанные с задачами медицинского скрининга, профотбора и т.д.
Именно появление компьютеров открыло широкую перспективу для наиболее адекватной реализации существующих тестовых моделей психодиагностики и путь к построению все более полных "моделей" деятельности клинического психолога, в пределе, по сути приближающиеся к "оригиналу" (клинико-психологическому методу).
Таким образом, внедрение компьютеров в психодиагностику сохраняет
все существующие достоинства тестового подхода: объективность, меньшую
зависимость от субъективных особенностей экспериментатора, надежность и
аккумуляцию коллективного профессионального опыта практических психологов.
3. Структура предмета компьютерной психодиагностики
В таблице 3 представлены основные составляющие предмета компьютерной психодиагностики.
Таблица 3. Предмет компьютерной психодиагностики
Автоматизация методик
|
Новые виды экспериментов |
Современные информационные технологии |
- инструктаж - ведение протокола - предъявление стимулов - регистрация реакций - расчет и выдача результатов |
- адаптивное тестирование - время как фактор экспери- мента - виртуальная реальность - игровая мотивация
|
- базы данных - анализ данных - интеллектуальные системы |
Автоматизация методик
В настоящее время преобладающее большинство разработок относится к автоматизации методик, что выражается, главным образом, в создании компьютерных версии известных психодиагностических тестов, ранее предназначенных для "ручного" употребления. Переложение на компьютерную основу методик со стандартизированными вербальными и статическими невербальными стимулами, на которые испытуемый дает ответы закрытого типа, не представляет особой сложности. В данном случае компьютер фактически выполняет функция калькулятора с той разницей, что также обеспечивает автоматическое предъявление стимулов, регистрацию ответов, ведение протокола эксперимента и выдает результаты в привычной для психодиагноста форме на экран дисплея или в виде твердой копии.
За счет автоматизации в психодиагностической практике наблюдается ряд положительных эффектов, которые условно можно назвать количественными:
• быстрое получение результатов бывает крайне необходимо в таких областях, как, например, клиническое обследование или консультирование;
• эксперт освобождается от трудоемких рутинных операций и может сконцентрироваться на решении сугубо профессиональных задач;
• повышается точность регистрации результатов и исключаются ошибки обработки исходных данных, неизбежные при ручных методах расчета выходных показателей (например, раньше при ручной обработке MMPI допускалось до 20% ошибок);
• оперативность обработки данных при компьютерном эксперименте позволяет проводить в сжатые сроки массовые психодиагностические обследования путем параллельного тестирования многих испытуемых.
Как следствие перечисленных эффектов, автоматизация методик оказывает положительное действие на повышение качества и снижение стоимости психодиагностического эксперимента. Кроме того, можно отметить положительное влияние автоматизации на общие условия обследования. В частности, возрастает уровень стандартизации этих условий за счет единообразного инструктирования испытуемых и предъявления заданий, не зависящих от пола, возраста, степени привлекательности, настроения и предвзятости, как экспериментатора, так и самого обследуемого. Немаловажной может оказаться конфиденциальность автоматизированного тестирования, позволяющая испытуемому быть более откровенным и естественным во время эксперимента. Также в ряде случаев считается полезной возможность скрыть от испытуемого технологию получения результирующих показателей.
Автоматизация методик имеет и свою оборотную сторону, которую необходимо учитывать. Изменение условий психодиагностического эксперимента требует проверки компьютерных версий методик на их адекватность традиционному "ручному" аналогу. Это, в частности, связано с тем, что при взаимодействии с компьютером у некоторых испытуемых могут возникать эффекты "психологического барьера" или "сверхдоверия" (Из собственного опыта в сравнении с опытом американских психологов видно, что эти тенденции могут достаточно сильно отличаться в зависимости от межкультурных различий. В частности, в США испытуемые склонны выражать недоверие к компьютерам, в то время как у нас наблюдается выраженный противоположный эффект). Поэтому автоматизированные варианты психодиагностических методик следует подвергать рестандартизации.
В отличие от "количественных" эффектов, которые обеспечивает автоматизация психодиагностического эксперимента, развитие компьютерной психодиагностики связано с принципиально иными, качественно новыми возможностями, которые открывает применение компьютеров.
Новые виды экспериментов
Адаптивное тестирование
Адаптивное тестирование заключается в том, что предъявляемые испытуемому текущие задания зависят от результатов его ответов на предыдущие задания. Вследствие этого испытуемому может предъявляться гораздо меньше заданий с сохранением диагностической способности целого объемного теста. За счет адаптивного подхода удается значительно снизить трудоемкость и время тестирования, что на практике бывает очень важно (например, при обследовании детей, больных, умственно отсталых). Технической предпосылкой адаптивных тестовых методик служит способность компьютеров за счет быстродействия вести обработку поступающих данных в масштабе реального времени.
Можно выделить два подхода к созданию адаптивных тестов. В первом подходе принятие решения об изменении порядка предъявления тестовых задании производится на каждом шаге тестирования (постоянная адаптация). Во втором подходе принятие решения об изменении порядка следования заданий осуществляется после анализа результатов отчетов испытуемого на специальный блок заданий (блочная адаптация)
Теоретической основой первого подхода является существование несимметричных статистических связей между ответами испытуемого на задания тестов, которые выявляются по результатам обследования представительных выборок.
Конструирование теста с постоянной адаптацией производится следующим образом:
• для репрезентативной выборки испытуемых вычисляются матрицы сопряженности пунктов исследуемого теста и из них выбираются матрицы с указанной асимметрией;
• для каждого пункта теста составляется список номеров пунктов, которые можно пропустить при определенном ответе испытуемого на данный пункт;
• определяется новый порядок пунктов теста. Основанием для его установления служит анализ объемов и содержания выше упомянутых списков: в первую очередь должны предъявляться пункты с максимальными объемами и как можно более разнящимися содержаниями списков, чтобы избежать дублирования. Новый порядок предъявления заданий позволяет максимизировать число возможных пропусков и тем самым укоротить среднюю длительность тестирования. При этом, конечно, нужно учитывать, что вследствие перестановки пунктов могут измениться нормы.
Адаптивность компьютерного психодиагностического теста может выражаться не только в непосредственном изменении порядка предъявления тестовых стимулов. В зависимости от текущего результата тестирования в последовательность стимулов могут включаться специальные сообщения, оказывающие корректирующее психологическое воздействие на испытуемого вплоть до, например, наказания испытуемого, фальсифицирующего ответы, возвратом к исходному заданию теста.
Время как фактор психодиагностического эксперимента
В отличие от традиционного "ручного" тестирования компьютеры позволяют активно использовать в психодиагностическом эксперименте такой важный параметр, каким является время. С одной стороны, время может быть управляемым параметром теста. Исследователь с помощью компьютера способен регулировать и устанавливать требуемый темп психодиагностического тестирования. Также этот темп может подбираться автоматически, без непосредственного участия экспериментатора. Например, для нейтрализации действия неспецифического фактора устойчивости испытуемого к восприятию неудачи темп тестирования подстраивается под испытуемого таким образом, чтобы процент ошибок был минимальным.
С другой стороны, время может служить собственно диагностическим параметром, который ранее слабо использовался либо совсем не анализировался в "ручных" версиях психодиагностических методик. Так, показатели временной динамики ответов испытуемого на вопросы психодиагностического теста могут выступать в качестве индикаторов эмоциональной неустойчивости, утомляемости и т.п.
Психодиагностические мультимедиа системы
Современные интерактивные компьютерные системы способны работать с динамической графикой, движущимися и статическими видеоизображениями и высококачественными речью и звуком. Это кардинально расширяет возможности психодиагностики, так как позволяет строить тесты в виде моделей, максимально приближенных к реальной деятельности. Наиболее полно указанная возможность проявляется в мультимедиа (дословно многосредных) системах виртуальной реальности (virtual reality - VR), а также в близких к ним системах телеприсутствия (telepresense). С помощью специального оборудования - шлема с двумя миниатюрными стерео дисплеями, квадронаушниками, специальных сенсорных перчаток и даже костюма, испытуемый может быть "помещен" в сгенерированный или смоделированный компьютером мир, повернув голову посмотреть налево и направо, "пройти" дальше, протянуть руку вперед и увидеть ее в виртуальном мире; может брать какой-либо виртуальный предмет (ощущая при этом тяжесть) и переставлять его с места на место и т.п. Кроме того системы VR допускают групповое присутствие и взаимодействие в виртуальном мире.
Игровая мотивация
Одним из основных препятствий в развитии психодиагностики является некооперативное отношение испытуемых к процессу тестирования. Это находит выражение, например, в прямом уклонении испытуемого от обследования или в сознательных попытках фальсификации результатов. Для преодоления указанного препятствия важная роль отводится созданию у испытуемых игровой мотивации путем оформления психодиагностического теста в виде компьютерной игры. "Включение" игровой мотивации повышает привлекательность процесса тестирования и повышает достоверность результатов.
Посредством компьютерных игр можно моделировать те или иные виды деятельности. Кроме того, в компьютерной психодиагностической игре существует возможность сочетания вербальных и невербальных стимулов. С одной стороны, компьютерная игра способна совмещать функции тестов-опросников и критериально-ориентированных тестов деятельности. С другой - игровая компонента может служить отвлекающим, разнообразящим или поощряющим фактором для тестируемого.
Известные коммерческие компьютерные игры затрагивают сразу много психических качеств и умений человека, чем, собственно, и достигается их привлекательность. В отличие от этих игр компьютерные игровые тесты, как правило, концентрируются на одном действии испытуемого, отражающим определенное психическое свойство. В результате игровой тест становится более однообразным и скучным, чем развлекательная игра. Но, по-видимому, с развитием компьютерной психодиагностики будут найдены пути для преодоления этого недостатка.
Современные информационные технологии
Базы психодиагностических данных
В настоящее время многие результаты психодиагностических экспериментов, проводимых отдельными исследователями и научными коллективами, после завершения анализа, соответствующего локальным целям их сбора, зачастую утрачиваются. В связи с этим, например, в области медицинской психодиагностики, несмотря на многолетние и многочисленные исследования больных, осуществляемые клиническими психологами и врачами, как в практических, так и научных целях, отсутствуют достаточные статистические данные даже для наиболее употребляемых психологических тестов (MMPI, 16РF Р.Кеттелла, тест рисуночных ассоциаций Розенцвейга, шкалы памяти и интеллекта Векслера и др.). Такого рода данные для отдельных нозологических, синдромальных и других категорий больных обычно приводятся в ограниченном виде лишь в научных публикациях. Затем они рассеиваются и практически теряются. Одной из актуальных задач компьютерной психодиагностики является организация специальных систем для хранения разноплановой и разнородной экспериментально-психологической информации, в которых реализуются процедуры сортировки и поиска данных на запросы различной сложности. Такие системы носят название систем управления базами данных (СУБД).
Их основная задача заключается в унификации внутреннего представления информации и устранении дублирования информации, требуемой для различных алгоритмов. СУБД позволяют, во-первых, систематически накапливать и хранить практически неограниченные объемы как экспериментально-психологических, так и других релевантных целям психодиагностики данных. И, во-вторых, базы данных дают возможность проводить регулярные и оперативные уточнения статистических характеристик изучаемых контингентов, в частности, получать их для однородных по интересующим параметрам выборок и проверять выдвигаемые статистические гипотезы. Также наличие СУБД создает предпосылки для широкого использования в психодиагностике экстенсионального подхода, основанного на принятии решения путем сравнения с прецедентами из множества хорошо изученных случаев диагностической практики.
Анализ данных
Психологу, оснащенному современным высокопроизводительным компьютером, становятся доступны гораздо более сложные операции с информацией, чем при ручном эксперименте. Сюда относится, например, оперативная реализация широкого спектра различных трудоемких процедур для расчета дополнительных шкал, индексов, вспомогательных показателей и т.п. Но главным является возможность развития подходов, которые принципиально были ранее не доступны.
Иллюстрацией качественно новых результатов в психодиагностике может служить тот факт, что применение персональных компьютеров дало мощный импульс для развития и практического применения методов идеографического подхода, получившего название "субъективная парадигма анализа данных". Реконструкция субъективного семантического пространства в этом подходе производится с помощью процедур кластерного и факторного анализа, а также алгоритмов многомерного шкалирования и масштабирования, требующих больших объемов вычислений.
Другая иллюстрация - развитие экстенсионального подхода, основанного на принятии диагностических решений относительно исследуемого объекта посредством его сравнения с диагностическими прецедентами. Реализация этого подхода возможна только с использованием высокопроизводительной компьютерной техники, так как он связан с применением трудоемких алгоритмов конструирования информативных описаний прецедентов, нахождения мер для сравнения объектов и определения оптимальных композиций диагностических прецедентов.
Еще одним немаловажным фактором, существенно влияющим на качество психодиагностический решений, является использование колоссального потенциала, заложенного в компьютерной когнитивной графике. Функция когнитивной графики заключается в наглядном графическом представлении тех или иных особенностей анализируемой информации, что является эффективным средством для прямого воздействия на процесс интуитивного образного мышления исследователя и практического специалиста.
Интеллектуальные системы
Развитие компьютеров вступило в этап, когда они начали активно брать на себя различные функции, традиционно считавшиеся прерогативой интеллектуальной деятельности. С одной стороны этому способствовало техническое совершенствование компьютеров (улучшение технологической базы и архитектуры, повышение производительности и надежности, уменьшение габаритов и стоимости). С другой - к этому вели разработки, например, в области игровых программ, доказательства теорем, распознавания образов, машинного перевода, автоматического реферирования, информационного поиска, сочинения текстов и музыки и другие разработки, приводящие к результатам или моделирующие процесс получения результата в отдельных видах деятельности человека. Главным фактором, послужившим стержнем для становления индустрии интеллектуальных систем, явилось перенесение акцента с разработок компьютерных вычислительных программ на программы, осуществляющие представление и манипулирование знаниями из актуальных предметных областей.
В психологии выделяют следующие основные типы прикладных интеллектуальных систем.
1. Интеллектуальные информационно-поисковые системы (ИИПС). В отличие от СУБД эти системы обладают способностью понимать недостаточно четко сформулированные вопросы. Другая особенность ИИПС заключается в их способности осуществлять автоматическое реферирование и анализ состояний противоречивости и неполноты фрагментов знания, что обусловливает возможности ИИПС "переваривать" и накапливать огромные количества информации из самых разнообразных источников.
2. Экспертные системы (ЭС) предназначены, главным образом, для решения практических задач, возникающих у специалиста, работающего в плохо структурированной и трудно формализуемой предметной области. Они способны аккумулировать профессиональные знания квалифицированных экспертов о ситуации психологического эксперимента, особенностях объекта и, может быть, личности самого экспериментатора и могут служить полезным инструментом, содействующим повышению точности психодиагностики и эффективности планирования психотехнических мероприятий.
3. Обучающие системы, которые нередко называют тьюторами (англ. tutor - обучать), являются разновидностью экспертных систем. Основной особенностью тьюторов является их способность давать обоснованные, методически эффективные для обучения объяснения с адаптивной степенью детализации по рассматриваемым диагностическим решениям.
Охарактеризуем компьютерные психодиагностические системы, предназначенные для проведения комплексных экспериментов. Эти эксперименты могут преследовать практические, исследовательские и смешанные цели.
В практических целях специальные средства компьютерных систем позволяют оформлять набор психодиагностических методик, результаты которых отражают различные стороны психики испытуемых в виде батареи тестов. Единое информационное обеспечение батареи тестов в рамках компьютерной системы часто служит основой для синтеза интегральных психодиагностических показателей.
Целями исследований является изучение новых закономерностей
психических феноменов с помощью известных психодиагностических методик и
конструирование нового инструментария психодиагностических измерений. Для
достижения указанных целей в исследовательских компьютерных системах
функционируют средства формирования вербальных и невербальных, статических и
динамических тестовых стимулов, задания порядка их предъявления испытуемым,
определения регистрируемых параметров психодиагностического эксперимента и
описания алгоритмов вычисления тестовых оценок. Эти средства представлены в
исследовательских компьютерных психодиагностических системах в виде метаязыков и
так называемых настраиваемых оболочек, позволяющих экспериментатору
конструировать и корректировать психодиагностический тест, не прибегая к услугам
профессионального программиста. Кроме того, в данных системах предусматриваются
средства архивирования экспериментально-психологической информации,
манипулирования с ней и статистического анализа психодиагностической информации.
4. Компьютерные тесты учебных достижений
В настоящее время выделяют два вида тестирования: бланковое и компьютерное.
Бланковое тестирование - распространенный во всем мире способ проведения тестирования с помощью печатных бланков. Его называют также тестированием «на бумажных носителях». Нужные ответы пишутся испытуемыми на особых бланках. Затем информация с бланков обрабатывается либо вручную, с помощью особых трафаретов, либо сканируется и поступает в электронную память компьютера.
Компьютерное тестирование - способ проведения тестирования, в ходе которого вопросы и задания предъявляются на мониторе компьютера. Иногда машина задает определённый временной режим прохождения теста или сама переводит успешных обучающихся от более лёгких заданий к более сложным. Компьютерное тестирование широко используется в России в системе централизованного тестирования.
Компьютерное тестирование обладает рядом особенностей его организации и проведения, такими как:
· использование материалов тестирования при организации самостоятельной работы студентов;
· использование в тестах мультимедийных средств;
· сокращение вероятности недобросовестного выполнения теста путём случайной перестановки заданий теста и дистракторов в задании;
· возможность на одном и том же множестве заданий предоставлять различные по уровню сложности и целям проверки тесты;
· получение результатов тестирования сразу по завершении сеанса аттестации;
· технология внесения изменений и дополнений в тестовые задания;
· возможность реализации пошагового контроля выполнения действий;
· влияние навыков работы с компьютером на результаты тестирования;
· возможность организации различных статистических оценок, как результатов тестирования, так и качества тестовых заданий;
· возможность применения адаптивных алгоритмов тестового контроля;
· стоимость организации и проведения тестирования.
Рассмотрим данные особенности организации компьютерного тестирования подробнее.
Говоря о процессе обучения, большинство авторов указывает на важность самоконтроля обучающихся. Особенно это актуально для заочной и дистанционной формы обучения, и для оценки уровня усвоения материала, предназначенного для самостоятельного изучения. Используя компьютерную форму тестирования, обязательно следует предусмотреть возможность работы в нескольких режимах, в том числе и режиме подготовки.
В этом режиме обучающемуся должна быть предоставлена возможность в любой момент получить от системы правильный ответ, а в идеале и ссылки на учебные и справочные материалы - обоснования правильного ответа.
Давая обучающимся возможность поработать в удобное для них время с программой, с помощью которой проводится проверка знаний достигаются следующие цели:
· выявление обучающимися тех понятий, тем и разделов, в которых они допускают ошибки;
· выработка навыков работы с программой;
· привыкание к манере формулировки заданий для изучаемой дисциплины.
Однако представляется нецелесообразным проведение итогового контроля на том же множестве вопросов, которое даётся испытуемым для подготовки к экзамену. Механическое запоминание правильных ответов - это скорее вопрос количества времени, потраченного студентом на подготовку и его памяти, а не глубины знания и понимания учебного материала. Поэтому, если целью проведения тестирования является объективная проверка уровня овладения знаниями, то для итоговой аттестации следует использовать похожие, но не те же самые тестовые упражнения.
Использование аудио и видео информации для формулировки тестовых заданий в настоящее время осуществляется довольно редко, в силу сложности программной реализации этих возможностей и повышенных требований к аппаратному обеспечению для проведения тестирования. Однако использование подобных механизмов позволяет повышать проверочную ёмкость отдельных заданий, а в некоторых областях делает возможным тестовую проверку знаний.
Подобные компоненты позволяют более коротко и ёмко сформулировать задание, предоставить на рассмотрение более сложные (наглядные) ситуации.
Положительным эффектом от использования мультимедийных компонент можно считать и их новизну, необычность, возможность привнесения в процесс обучения игровых моментов. Использование таких возможностей персонального компьютера, как математическое моделирование, использование мультипликации и компьютерной графики, разнообразная цветовая гамма позволяет преподавателю сделать учебный процесс более интересным, разнообразным и эффективным. В литературе отмечается, что использование нестандартных методик повышает мотивацию и интерес к изучаемым вопросам.
Использование в тестах «работающих» иллюстраций к заданиям — стандартный и довольно старый приём при проведении бланкового тестирования, но почти не используемый при компьютерном тестировании. С одной стороны — большинство таких заданий можно сформулировать с помощью стандартных форм тестовых заданий. С другой стороны — упражнения, сформулированные в форме задания что-то отметить на иллюстрации — обладают более мощными возможностями проверки знаний.
Одной из особенностей бланкового тестирования является то, что данный вид тестирования можно проводить только один раз. Как только одна группа прошла такую проверку знаний и получила результаты, все остальные студенты имеют список правильных ответов. При чём этот список включает номер вопроса и перечень номеров дистракторов, составляющий правильный ответ. Последующие применения данного теста не дают достоверной информации о степени овладения знаниями.
С целью преодоления этой трудности в теории педагогического тестирования предлагается использование так называемых фасетных заданий, когда задания в разных тестах отличаются дистракторами, их порядком, количеством, формулировкой. Однако при применении бланкового тестирования данный механизм сложен в реализации, т.к. предполагает достаточно большую подготовительную работу. Эту сложность достаточно легко преодолеть при применении компьютерного тестирования - используя механизмы случайного выбора как при определении порядка тестовых заданий, так и при отражении на экране очередного упражнения, изменяя множество и порядок дистракторов.
Отдельно следует сказать о возможности создания фактически индивидуального теста для каждого сеанса аттестации. Если множество упражнений по дисциплине достаточно велико, то использование механизма случайного выбора даёт практически уникальный набор тестовых заданий для каждого сеанса аттестации.
Конечно, использование подобных технологий серьёзно усложняет создание систем компьютерного тестирования, требует введения иерархических структур на множестве вопросов, особенно, когда необходимо в ходе выполнения менять трудность задания. В этом случае понятие случайного выбора имеет достаточно специфическую трактовку.
Уже не раз упоминалось о том, что существует несколько видов контроля учебной деятельности. Помимо начального, текущего и итогового контроля есть ещё одна форма - проверка остаточных знаний. Поскольку подготовка тестовых упражнений - сложный и дорогостоящий процесс, а множество упражнений для разных форм контроля могут пересекаться, становится довольно привлекательной идея единого хранения всех тестовых упражнений и реализация различных алгоритмов отбора для проведения очередного сеанса аттестации. Особенно эти соображения актуальны при организации массовой проверки знаний у специалистов различных уровней квалификации и ответственности.
Ярким иллюстрацией сказанного является работа морской квалификационной комиссии, проводящей систематическую проверку знаний моряков и оформление, на основании результатов этой проверки, рабочих дипломов. Каждая из категорий включает в себя специалистов различного уровня ответственности, и каждый из проверяемых тестируется по нескольким дисциплинам. При этом есть дисциплины, обязательные для всех, например, оказание первой помощи, основы безопасности, борьба с пожарами. Есть же дисциплины, вопросы по которым следует задавать только некоторым специалистам. Возможности настройки проводимого сеанса аттестации в соответствии с требованиями к уровню подготовленности значительно облегчают администрирование базы данных вопросов.
Использование бланкового тестирования предполагает такой этап, как проверка результатов. Это трудоёмкий этап, поскольку допускает только минимальный уровень автоматизации - использование налагаемых шаблонов. Подобная технология используется довольно редко, т.к. она предполагает, во-первых высокие требования к качеству печати бланков, во-вторых высокую степень дисциплинированности у отвечающих на вопросы. Более того, использование шаблонов для проверки ограничивают использование в тестах заданий в открытой форме. Чаще всего бланковые тесты проверяются вручную, и по затраченному времени мало отличаются от проверки письменных работ. Так же проверка бланковых тестов не исключает ошибок преподавателей, т.к. в отличии от проверки контрольных работ, когда преподаватель следит за развитием мысли, проверяя выкладки, и его внимание не рассеивается, проверка бланков, в основном, нудный и однообразный процесс сверки колонок результатов.
Этих недостатков совершенно лишено компьютерное тестирование. Практически мгновенное получение результата исключает человеческий фактор на этапе получения результатов. Автоматическое получение отчёта, как об отдельном сеансе тестирования, так и любом подмножестве прошедших проверку, сохранение результатов в электронном виде и, следовательно, восстановление их при необходимости - все эти преимущества электронного хранения информации присущи системам компьютерного тестирования.
В литературе принято говорить о простоте внесения изменений при использовании компьютерного тестирования в сравнении с бланковым. Наверное, правильность этого утверждения зависит от масштабов использования тестов. При бланковом тестировании в масштабах страны внесение минимальных изменений сопряжено с огромными затратами, при этой же форме тестирования в одной студенческой группе исправление допущенной ошибки - дело вряд ли минут. Так же обстоят дела и при компьютерном тестировании. Если у проводящего тестирование есть доступ к базе данных тестовых упражнений, а ещё лучше соответствующее программное обеспечение и права доступа, внесение изменений может быть проведено довольно легко, а результаты изменения видны сразу же после сохранения. Если же база данных централизована и проводящие аттестацию не имеют к ней доступа - внесение этих изменений представляется проблематичным.
Вторым аспектом этой проблемы можно назвать проблему формулировки тестового задания. Если при подготовке бланкового теста формулировка и оформление вопроса практически неотделимы друг от друга, то при создании тестового вопроса для компьютерного тестирования содержание и оформление задания зависят и от величины окна программы тестирования, и от настроек экрана. Часто проблемным преподавателям, использующим чужие программы для проведения тестирования, бывает довольно сложно освоить язык разметки экрана упражнения. Эти сложности становятся всё более заметными с увеличением возможностей программы компьютерного тестирования: введение новых типов упражнений, использование дополнительных мультимедийных средств, графики и т.д.
При подготовке тестовых упражнений следует учитывать особенности формулировки заданий и дистракторов. В литературе, посвященной использованию педагогических тестов, сформулированы довольно жёсткие требования к различным типам заданий в тестовой форме. Однако, эти требования могут быть неизвестны проблемным преподавателям, и фактически все составленные ими задания для бланкового тестирования должны проходить контроль у специалистов по тестированию. В тоже время, большинство из этих требований формализуемо, и если тестовые упражнения создаются с помощью специализированного программного обеспечения, контроль на соответствие этим требованиям может осуществляться автоматически.
В требованиях к организации контроля, Н.Ф. Талызина отмечает необходимость пооперационного контроля на первом этапе усвоения знаний. Пооперационный контроль особенно важен при наработке навыков, например, при освоении вычислительных методов, применении алгоритмов. Организация такой частоты контроля для каждого из обучающихся очень сложна без использования возможностей компьютерной техники. Фактически такая форма контроля может быть реализована единственным образом: один из обучающихся выполняет задание у доски, а преподаватель следит за его действиями и сразу же исправляет допущенные ошибки, поясняя их. Понятно, что при такой организации, далеко не все обучающиеся могут получить необходимое им внимание.
Организовать такую форму контроля с помощью бланковых тестов невозможно, т.к. результаты выполнения задания будут известны только по завершении всего теста, да и то не сразу.
Компьютерное тестирование с использованием специально составленных для этого тестов, когда выполнение задания разбито на отдельные операции, и переход к следующей операции происходит только при условии правильного выполнения предыдущей, с хорошо продуманной системой помощи и подсказок, позволяет организовать необходимый пооперационный контроль.
Организация системы помощи и подсказок в компьютерных программах может быть многоступенчатой, адаптивной, тем самым, делая работу с программой аналогичной занятию с репетитором.
Помощь по характеру может быть:
· прямой - содержит конкретную информацию, необходимую для решения задачи;
· косвенной - содержит методические рекомендации, для самостоятельного решения.
Косвенная помощь стимулирует умственную активность, развивает творческое мышление. Косвенная помощь в свою очередь делится на:
· фактологическую - содержащую факты, необходимые для самостоятельного решения поставленной задачи, например свойства, значения величин, формулы, правила и т.д;
· ориентирующую - содержащую ссылки на источники фактологической информации, ознакомившись с которыми можно снова попытаться самостоятельно решить задачу:
· теоретическую - содержащую необходимый для решения задачи теоретический материал;
· логическую - содержащую краткие методический рекомендации и сформулированную в такой форме, чтобы активизировать мыслительную активность.
Конечно, тесты использующие многоступенчатую систему помощи и подсказок, сами по себе довольно специфические, и подобное программное обеспечение чаще принято классифицировать как обучающие программы, но при наличии определённых функций сохранения результатов выполнения заданий, например количество неудачных попыток на каждой из ступеней, уровень подсказки, которым воспользовался обучающийся, для преодоления очередного этапа, время затраченное на каждое из заданий —данные компьютерные программы являются классическим примером реализации обратной связи и обеспечивают педагога необходимым материалом о пробелах в знаниях каждого из обучающихся и их индивидуальных особенностях обучения. При этом каждый из обучающихся обеспечивается тактичным и терпеливым помощником, направляющим его в преодолении трудностей познания нового.
Использование компьютерных программ для контроля знаний обучающихся имеет свои достоинства и недостатки. Хотя в педагогической литературе всё чаще говорится о замене бланкового тестирования компьютерным.
Несомненным достоинством такой формы проведения контроля знаний является освобождение преподавателя от рутинной механической работы, связанной с проверкой полноты и качества выполнения заданий (контрольных работ) или многочасового выслушивания устных ответов.
Однако, основное преимущество компьютерного тестирования перед другими методами контроля, заключается, в первую очередь, в большей объективности получаемых результатов, поскольку тестируемый чувствует себя более свободно перед неодушевленным компьютером, который задаёт ему вопросы, чем перед преподавателем, меньше волнуется, что позволяет достичь сравнительно лучших результатов, а при выставлении оценки исключён субъективный фактор. Однако, это наблюдение корректно в том случае, если все проходящие тестирование имеют навыки работы на компьютере и преодолели страх «сделать что-то не так». Говоря о методике проведения компьютерного тестирования, в литературе выделяется обязательный этап -ознакомление с особенностями программы, используемой для тестирования. Здесь основным фактором влияния на результаты можно выделить возраст проходящих тестирование: чем старше отвечающие на вопросы, тем выше уровень случайных ошибок и уровень стресса. Тем не менее, в целом тесты позволяют уменьшить уровень психического травмирования обучающихся.
Побочным положительным результатом использования компьютерного тестирования можно считать закрепление навыков работы с компьютерными программами, выработка стандартных приёмов работы. В результате чего отмечается значительное повышение мотивации у большинства обучающихся при работе с вычислительной техникой.
Систематический компьютерный контроль знаний показал ещё один, довольно неожиданный результат - повышение интереса к программированию. Попытка разобраться в принципах работы программы - «взломать» её, наиболее упорных студентов приводит к серьёзному, а главное заинтересованному, изучению основ мастерства. Некоторые такие «юные хакеры» самым серьёзным образом увлеклись теорией защиты информации, технологиями хранения и представления данных - дисциплинами, которые в ВУЗе изучаются обзорно, или только упоминаются. Второй неожиданный положительный момент - рано или поздно, совместными усилиями создаётся обширный список всех возможных заданий компьютерного теста и соответственно правильных ответов к ним. Обычно он возникает к концу сессии и представляет интерес уже для следующих поколений. Однако не все «авторы» этого списка добросовестны, и как правило, он содержит большое количество ошибок и неточностей. Были отмечены случаи продажи подобных списков, и «покупатели», столкнувшись с ошибками, начинают изучать тесты и сравнивать их с учебниками и конспектами с таким рвением, с каким ни один предмет не изучали, что естественно положительно влияет на качество их подготовки.
При подведении итогов массового проведения тестового контроля знаний, неоднократно упоминалось о высокой степени совпадения результатов при проведении тестирования в бланковой и компьютерной форме. Некоторыми авторами отмечается снижение уровня недобросовестного подхода, таких его форм как подсказки и списывание.
К недостаткам компьютерной формы тестирования можно отнести тот факт что, имея компьютерный тест в качестве материала для подготовки к экзамену, студент может поставить себе цель - заучить материалы теста, а не материалы учебной дисциплины. В этом случае трудно говорить о информативности и значимости результатов тестирования, хотя при правильной разработке теста он может охватывать большинство основных разделов учебной дисциплины.
Медики, исследуя вопрос о влиянии компьютера на здоровье человека, делают вывод о возможном негативном влиянии долгой работы за компьютером и возможности возникновения заболеваний глаз, мышц рук. С целью ослабления негативного влияния и создания психологического комфорта при прохождении тестирования, необходимо, при организации тестирования, следовать рекомендациям психологов, исследовавших вопросы зависимости организации рабочего места для проведения тестирования и результатов. Эти рекомендации касаются как организации компьютерного рабочего места: уровня освещённости, взаиморасположения монитора, клавиатуры и мыши на столе, высоты стула и т.д., так и принципов разработки пользовательского интерфейса тестирующей программы: цветового оформления и размеров экрана, расположения элементов управления и визуальных компонент, правил навигации в программе и т.д. Эти особенности и соображения так же можно считать влиянием формы проведения на результаты тестирования, т.к. проведение тестирования предполагает и этап подготовки к тестированию и, следовательно, данные моменты должны быть учтены при принятии решения о форме проведения контроля.
Основными характеристиками тестов являются их объективность, надёжность и валидность. Компьютерное тестирование уже само по себе обеспечивает объективность измерений, поскольку все обучающиеся поставлены в идентичные условия, а обработка результатов тестов производится автоматически.
Приведённые выше методы оценки надёжности теста требуют применения статистических методов, реализовать которые можно и должно при проведении компьютерного тестирования, в то время как подобная обработка результатов бланкового тестирования требует дополнительных временных затрат.
В то же время оценка валидности теста (особенно содержательной) - это задача эксперта. Для проведения экспертизы специалисту следует предоставить все материалы в удобном для него виде.
Сохраняя результаты сеансов аттестации, с помощью компьютерных программ можно легко, без больших дополнительных усилий, реализовать различные способы представления одной и той же информации в зависимости от целей.
При этом исключается неизбежная (в случае бланкового тестирования) ошибка, возникающая при вводе результатов тестов в компьютер для их последующей статистической обработки.
Кроме валидности и надёжности В.С. Аванесов вводит ещё один критерий - эффективность педагогического теста. Эффективным автор называет тот тест, который "лучше, чем другие тесты, измеряет знания студентов интересующего уровня подготовленности, с меньшим числом заданий, качественнее, быстрее, и все это - по возможности одновременно".
Несомненно, поиск путей повышения эффективности педагогических тестов - важнейшая задача. В частности, в последнее время в зарубежной и отечественной педагогической литературе обсуждается теория адаптивного обучения и в связи с этим - адаптивных тестов.
Задания таких тестов подбираются в зависимости от текущих результатов обучения индивидуально для каждого студента. Такой процесс управления учебной деятельностью может быть реализован только с помощью компьютера соответствующей компьютерной среды, которая позволит диагностировать студентов на каждом этапе обучения и в соответствии с результатами этой диагностики создавать индивидуальные образовательные траектории.
Идеи адаптивного обучения сформулированы в педагогических трудах Песталоцци и А. Дистервега, К.Д.Ушинского. Эти авторы сформулировали принципы природосообразности и гуманности обучения.
Принцип индивидуализации обучения положен в основу адаптивных систем обучения и соответствующих систем тестирования.
Адаптивное тестирование - это широкий класс методик тестирования, предусматривающих изменение последовательности, содержания и сложности предлагаемых заданий в самом процессе тестирования с учётом ответов испытуемого. При такой организации в процессе прохождения теста строится модель обучающегося, которая используется для генерации последующих заданий тестирования в зависимости от уровня обучающегося.
Основная идея адаптивного тестирования состоит в том, что слабо подготовленным обучающимся бесполезно давать трудные задания, так как очень велика вероятность, что они не смогут их выполнить. Отдельные исключения из сформулированного выше утверждения, конечно, могут быть, но они крайне редки. Столь же бесполезно предлагать лёгкие задания при тестировании хорошо подготовленным обучающимся. Использование слишком лёгких заданий приведёт к тому, что все или почти все получат высокие и примерно одинаковые баллы и измерение не состоится по причине несоответствия уровня трудности заданий уровню подготовленности тестируемых.
Очевидная связь между уровнем подготовки испытуемых и трудностью заданий и натолкнула исследователей на мысль об исключении из теста «бесполезных» заданий и таким образом повышении его эффективности. Следовательно, при выполнении одного и того же адаптивного теста хорошо подготовленный и плохо подготовленный испытуемые получат совершенно разные наборы заданий. При этом, доли верных ответов у тестируемых могут совпадать, но первый обучающийся наберёт большее количество баллов, так как отвечал на более трудные вопросы.
Такой подход соответствует подходу опытного преподавателя при приёме устного экзамена. Он обычно задаёт первый вопрос средней сложности, и если студент отвечает верно, то задаётся более сложный вопрос. При неправильном ответе формируется более лёгкий вопрос. На основании ответов на несколько вопросов, в течение короткого промежутка времени у преподавателя складывается представление об уровне и глубине знаний обучающегося. Это мнение основывается на уровне сложности вопросов, на которые обучающийся ответил правильно.
Адаптивный тест реализует тот же самый принцип. По мере того, как задаются новые вопросы, всё более точной становится оценка уровня знаний испытуемого. Тест заканчивается, когда точность оценки достигает статистически приемлемого уровня или когда будет задано максимально возможное количество вопросов.
Если процесс адаптации правильно организован, то главное преимущество адаптивного теста перед традиционным - эффективность. Адаптивный тест позволяет определить уровень знаний тестируемого, задав ему меньшее количество вопросов. Иногда длина теста уменьшается до 60%.
В среднем, в адаптивном тесте на каждый вопрос выделяется больше времени для ответа, чем в обычном тесте, в зависимости от того, сколько заданий обучающемуся понадобится выполнить.
Поскольку все испытуемые обладают разным уровнем подготовленности, и оценка её меняется в процессе выполнения теста, очередное задание подбирается в соответствии с текущей оценкой. Следовательно, адаптивный тест состоит из заданий, каждое из которых является оптимальным по трудности на момент предъявления для испытуемого.
Достоверность результатов адаптивного теста совпадает с достоверностью традиционных тестов фиксированной длины. Оба вида тестов одинаково точно оценивают уровень знаний. Тем не менее, неверно широко распространённое мнение, что адаптивный тест оценивает уровень знаний более точно.
Самая главная характеристика заданий адаптивного теста - это уровень их трудности, полученный опытным путём. Это означает, что прежде чем попасть в базу данных, каждое задание должно обязательно пройти эмпирическую апробацию на достаточно большом числе типичных обучающихся.
Распространенная у нас образовательная модель адаптивной школы Е.А. Ямбурга исходит, по существу, из общих идей адаптивного обучения и адаптивного контроля знаний.
Основной трудностью в создании адаптивных тестов является необходимость применения сложных математических моделей для калибровки теста, которые без использования современных компьютеров практически неприменимы.
Одной из серьёзнейших преград на пути распространения компьютерного тестирования, как широко применяемого способа контроля знаний является его высокая стоимость. Первым слагаемым этой стоимости является необходимость оборудования компьютерных классов достаточным количеством рабочих станций для проведения одновременного сеанса тестирования. Более того, большинство программ компьютерного тестирования достаточно требовательны к характеристикам компьютера. Приобретение, настройка и поддержание в рабочем состоянии компьютерного класса - довольно дорогое удовольствие. И если в среднем технические ВУЗы неплохо обеспечены компьютерной техникой, то обеспечение гуманитарных ВУЗов оставляет желать лучшего, хотя следует отметить, что в последние годы положение с информатизацией ВУЗов заметно улучшилось.
Второй составляющей стоимости компьютерного тестирования является цена самой программы тестирования. Разработчики предлагают довольно большой спектр тестирующих программ, однако большинство из них создаются программистами широкого профиля, и не учитывают основных положений профессиональных тестологов. Если же программы создаются профессиональными педагогами, то они довольно примитивны и ненадёжны с точки зрения программирования. Большинство же программ тестирования используются самими разработчиками и создаются без учёта возможности их тиражирования и сопровождения.
Немаловажной частью стоимости компьютерного тестирования является стоимость разработки самих тестовых заданий, а в некоторых областях знаний и процесс поддержки «актуальности» множества тестовых заданий. Если хорошо спроектированные тесты проверки знаний «классических» дисциплин, таких как высшая математика, физика, могут использоваться годами и не требовать серьёзных доработок, то тесты проверки знаний для юристов требуют постоянных корректировок и дополнений в силу постоянных изменений предметной области. Оценка актуальности тестовых заданий требует работы высококвалифицированных экспертов и следовательно соответствующих материальных затрат. Эти соображения касаются и проверки знаний при проведении регулярных экзаменов для получения рабочих дипломов (например моряки), и тестов при приёме на работу (практикуются кадровыми агентствами и крупными компаниями), и централизованных тестов для выпускников школ (Телетестинг, ЕГЭ).