Характеристика эффективных психологических тестов
Содержание статьи
Психологические тесты: надежность и требования по ее обеспечению.
Общая характеристика надежности:
Понятие «надежность теста» есть такая характеристика методики, которая отражает точность измерения и устойчивость результатов к действию посторонних факторов. По сути дела это разброс данных, т.е. дисперсия. Общий разброс данных (дисперсия ошибок) и надежность измерения (R).
В широком смысле слова Н. является показателем степени различия в свойстве, допустим двух индивидов, как результат действительных различий или как результат ошибки измерения.
В узком смысле слова Н. есть степень согласованности первичных и вторичных измерений. Однако так бывает редко.
Считается, что в психометрике «надежность» понимается двояким образом:
- как надежность по внутренней согласованности заданий теста;
- как надежность ретестовая.
Основные факторы, обуславливающие ошибку измерения
- разнообразие внешних условий;
- влияние динамичных внутренних факторов;
- информационно-социальные условия и др.
Стандартная ошибка измерения обозначается (Sе). Величина Sе указывается на уровень неточности. Величина Sе и надежность измерения R ( в справочнике по диагностике пишут вместо R букву а , вместо е пишут t) связываются формулой:
R= 1 — Sе / Sх или а = 1 — Sе/ Sх
где R или а есть надежность теста, Sе — дисперсия ошибки, Sх — есть реальная, эмпирическая дисперсия. Однако как получена дисперсия ошибки. Сделано это следующим образом:
а = St/ Sх
где St — истинная дисперсия (это такая дисперсия, которая отражает вариантность только измеряемого признака и распределение оценок испытуемых в этом случае совпадает с нормальным распределением), Sх — есть реальная, эмпирическая дисперсия оценок. Затем, так как истинная дисперсия и дисперсия ошибок связаны вышеуказанным соотношением, формулу легко преобразовать в формулу Рюлона, т.е.
R(а) = 1 — Sе/Sх
Величина St/Sх служит основным показателем точности и устойчивости измерений и называется коэффициентом надежности теста, обозначается rt. Величина ошибки измерения обратно пропорциональна показателям точности измерения. По другому, чем шире доверительный интервал, внутри которого возможно появление истинного результата у данного испытуемого, тем меньше точность измерения. Для этого можно установить дисперсию ошибки, обозначается как Sо
Sо = 1 — rt
На практике коэффициент как правило получают не более 0,7 — 0,8. При rt = 0,8 стандартная ошибка измерения составит
1 — 0,8 = 0,45
Для коррекции эмпирического значения в практических исследованиях применяется формула
хt = rt хi + х ( 1 — rt)
где, хt — истинное значение тестового балла, хi — эмпирический балл испытуемого, rt — коэффициент надежности, х — среднее значение оценок по тесту. (Далее можно привести пример по тесту Векслера из справочника на с. 194).
Определение надежности методики:
Для этого используются корреляционные методы на уровне целого теста или на уровне отдельных пунктов.
Сущность коэффициента корреляции (r). Прямолинейная корреляция между переменными: положительная, нулевая и отрицательная. Проблемы корреляции взять из темы 11.
Способы определения надежности:
1.Определение надежности целого теста за счет ретестирования (ретестовая надежность). Проводится через две недели на той же выборке испытуемых. Правда, некоторые западные психологи настаивают на интервале не менее 6 месяцев (П.Клайн). Эксперименты проведенные в Канаде по ретестовой надежности связаны со сроком в три недели.
Для интервальных шкал используется известный коэффициент Пирсона. Высокая надежность достигается тогда, когда дисперсия ошибок оказывается пренебрежительно малой. В этом случае важна близость к единице. Требования ретестовой надежности являются корректными к таким характеристикам индивидам, которые устойчивы во времени.
Для шкал порядка в качестве меры устойчивости используется коэффициент ранговой корреляции Спирмена.
- Одномоментная надежность. Способ определения надежности, который меньше связан с устойчивостью признака.
Простейший способ такой работы — поиск корреляции между параллельными формами теста. Создаются эквивалентные формы опросников, которые предъявляются одним и тем же испытуемым. В дальнейшем оценивается корреляция между ними. Сложность заключается в том, что составить два комплекта заданий.
- Более сложный способ связан с определением надежности частей теста. Для этого задания теста расщепляют, т.е. составляют четные и нечетные половины. Затем вычисляют коэффициент корреляции между данными частями по формуле Спирмена-Брауна. (см. в книге Бодалев, Столина на С.104
- Можно использовать и способ синхронный надежности. В этом случае тест разбивается на такое количество частей сколько в нем пунктов и в дальнейшем обрабатывается по Формуле Кронбаха, или Кьюдера-Ричардсона, или Китса.
Характеристика измерения ретестовой надежности: интервал времени, события между тестированиями, границы ретестового интервала времени, социальные процессы и состояния. Возможности использования ретестовой надежности.
- Особенности использование взаимозаменяемых форм для измерения коэффициента надежности теста. Требования к разработке взаимозаменяемых форм: независимость, число заданий, диапазон и уровень трудностей заданий, инструкция и временные рамки. Ограничения в применении взаимозаменяемых форм: тренировки, мотивация, перенос принципа решения.
Измерение надежности по коэффициенту внутренней согласованности
(надежность эквивалентных половин теста). Сущность процедуры расщепления теста. Трудности использования измерений надежности эквивалентных половин теста. Формула Спирмена-Брауна.
Определение надежности по Кьюдеру-Ричардсону и коэффициент альфа. Однородность и неоднородность тестовых заданий. Определение коэффициента надежности по каждому заданию теста и его особенности. Общая характеристика дисперсии оценщика и определения надежности оценщика.
Источники неудовлетворительной надежности: субъективное оценивание, угадывание, величина теста, инструкция, характер группы (степень индивидуальных различий), средний уровень измеряемой способности. Мера надежности теста через стандартную ошибку измерения (стандартную ошибку показателя).
Последовательность действий при проверке надежности методики:
- Узнать существуют ли данные о надежности методики;
- на какой популяции и в какой диагностической ситуации проведена проверка;
- в случае отрицательного ответа, провести все это самостоятельно;
- Провести повторное тестирование и подсчитать все коэффициенты: для целого теста, для отдельных пунктов;
- Если возможности обследования ограничены, то провести его на избранной выборки, можно подсчитать ранговую корреляцию для оценки внутренней согласованности теста.
