Оценка качества тестовых методик на основе критериев валидности и надежности icon

Оценка качества тестовых методик на основе критериев валидности и надежности




Скачати 52.04 Kb.
НазваОценка качества тестовых методик на основе критериев валидности и надежности
Дата14.09.2012
Розмір52.04 Kb.
ТипДокументи

В.С. Ноздренков,

ассистент,

И.Л. Лебединский,

к.т.н., доцент

Сумский государственный университет, г. Сумы

ОЦЕНКА КАЧЕСТВА ТЕСТОВЫХ МЕТОДИК НА ОСНОВЕ КРИТЕРИЕВ ВАЛИДНОСТИ И НАДЕЖНОСТИ


Важным шагом в составлении теста является проверка качества предложенных задач. Если задания не достаточно качественны, то велика вероятность того, что с ними одинаково справится (или не справится) как отличник, так и двоечник. А это искажает истинную картину успеваемости. Поэтому необходимо произвести оценку теста на валидность и надежность.

Из литературы [1] известно, что проверка теста на валидность начинается с построения матрицы результатов. Матрица имеет размерность M×N, где М – число заданий, N – число испытуемых. Обозначим через xijчисловую оценку успешности выполнения j-го задания, выполненного i-м испытуемым. Для каждого испытуемого определяется суммарный балл , определяющий успешность, а для каждого задания – суммарное количество набранных баллов . На основании полученных данных строят упорядоченную матрицу, в которой испытуемые располагаются по их успешности, а задания – по их трудности.

После упорядочения матрицы результатов проводят ее обработку. Главной целью этого является расчет показателей связи между собой и с суммой баллов испытуемых. Основу этого составляет коэффициент корреляции Пирсона , который определятся по формуле



(1)

где и – параметры, связь между которыми рассчитывается; – сумма произведений отклонений и от их средних значений; или – сумма квадратов отклонений по или от его предыдущего значения. Чем выше значения коэффициентов корреляции, тем выше качество теста, при этом нормой считается, если их значения не меньше 0,3 [1].

Для определения указанных выше величин используются формулы:

.

(2)

Для связи между k-м заданием и суммой балов



(3)

для связи между k-м и m-м заданиями



(4)


Величина вычисляется следующим образом:



(5)

На основании результатов расчетов строится корреляционная матрица, компонентами которой являются коэффициенты связей между заданиями. Кроме того, рассчитываются коэффициенты () связей всех заданий с суммой баллов для каждого испытуемого. Если для k-го задания , то связь считается достаточной, и k-е задание остается в тесте. Если же будет , то связь считается не достаточной, k-е задание необходимо удалить из теста.

Аналогично рассчитывается коэффициент связи между двумя заданиями, например, k-м и m-м, т.е. элементы корреляционной матрицы. Необходимые формулы имеют следующий вид:



(6)






(7)






(8)






(9)

Рассчитанная матрица коэффициентов связи между заданиями имеет размерность , поскольку число столбцов и строк равно числу заданий, и симметрична, так как , т.е. эти коэффициенты выражают связь между одними и теми же заданиями. Диагональные компоненты матрицы равны единице, так как выражают связь задания с самим собой.

Одной из важнейших интегральных характеристик теста является средний коэффициент корреляции задания со всеми заданиями Нормой считаются значения коэффициентов корреляции не ниже 0,3 [1]. В этом случае тест валиден по способности дифференцировать испытуемых.

Важной характеристикой теста является его надежность. О высокой надежности метода говорят в том случае, когда метод точно измеряет то свойство, для измерения которого он предназначен. В качестве критериев точности можно отметить следующие:

- при повторном применении метода к тем же самым испытуемым в одних и тех же условиях через определенный интервал времени результаты обоих тестирований существенно не различаются между собой;

- действия случайных посторонних факторов не оказывают существенного влияния на результаты тестирования.

В качестве посторонних факторов можно назвать следующие: эмоциональное состояние и утомление, если они не входят в круг исследуемых характеристик, температура, освещенность помещения и др. Такие посторонние факторы еще называют факторами нестабильности измерительной процедуры.

При повторном применении метода к тем же самым испытуемым через определенный интервал времени в измененных условиях результаты обоих тестирований существенно не различаются между собой.

Существуют различные методы оценки надежности.

Ретестовый метод – повторное тестирование выборки испытуемых одним и тем же тестом через определенный интервал времени при одних и тех же условиях. За индекс надежности принимается коэффициент корреляции между результатами двух тестирований.

Надежность взаимозаменяемых форм – повторное тестирование выборки испытуемых параллельной формой теста через минимальный интервал времени при одних и тех же условиях. За индекс надежности принимается коэффициент корреляции между результатами тестирования двумя параллельными формами теста. Высокий коэффициент корреляции и большой интервал между двумя испытаниями свидетельствует о высокой надежности теста [2].

Метод расщепления состоит в том, что тест разбивают на две сопоставимые части. Респондент выполняет задания этих двух частей в течение одного сеанса с получением двух результатов (например, тест Равена содержит две части: четные и нечетные задания). За индекс надежности принимается коэффициент корреляции Спирмана-Брауна между результатами тестирования двумя этими частями. Он называется коэффициентом внутренней согласованности теста. Для его расчета используется формула:



(10)

где – коэффициент корреляции Пирсона, характеризующий в данном случае связь между двумя половинками теста – четных и нечетных заданий. Он рассчитывается по формуле (1).

Предложенные методики оценки валидности и надежности тестов позволяют выполнить оценку качества тестовых заданий.


Список литературы


1. Аванесов В.С. Научные основы тестового контроля знаний. М.: Исследовательский центр, 1994. – 135 с.

2. Аванесов В.С. Композиция тестовых заданий. Учебная книга для преподавателей вузов, учителей школ, аспирантов и студентов педвузов. М.: Адепт, 1998. – 217 с.

Схожі:

Оценка качества тестовых методик на основе критериев валидности и надежности iconОценка качества знаний как индикатор качества обучения
Оценка качества знаний может являться опосредованным выражением качества обучения и может быть использована для оценки применяемых...
Оценка качества тестовых методик на основе критериев валидности и надежности iconОсновы надежности ла надежность сложных систем
Для расчета надежности сложных систем используют модель, которую составляют на основе функциональной схемы системы. В качестве моделей...
Оценка качества тестовых методик на основе критериев валидности и надежности iconОсновы надежности ла показатели надежности
Во процессе эксплуатации для анализа надежности изделий ат используют показатели надежности
Оценка качества тестовых методик на основе критериев валидности и надежности iconЛипатова О. В., к э. н., доц. Белорусский государственный университет транспорта оценка качества и конкурентоспособности логистической деятельности транспортно –экспедиционных организаций
Оценка качества и конкурентоспособности логистической деятельности транспортно –экспедиционных организаций
Оценка качества тестовых методик на основе критериев валидности и надежности iconУдк 621. 311: 658. 012. 011 Оценка качества функционирования асду с использованием марковских процессов и критериального моделирования
Оценка качества функционирования асду с использованием марковских процессов и критериального моделирования
Оценка качества тестовых методик на основе критериев валидности и надежности iconГолік Артура Петровича
Оценка надежности отказоустойчивых систем управления в условиях априорной определенности
Оценка качества тестовых методик на основе критериев валидности и надежности iconОсновы надежности ла обеспечение надежности воздушных судов и авиационных двигателей
Формирование надежности изделий ат зависит от технических и организационных факторов, охватывающих этапы проектирования, производства...
Оценка качества тестовых методик на основе критериев валидности и надежности iconОсновы надежности ла математические модели надежности
Построение модели надежности предусматривает определение аналитического выражения для вероятности безотказной работы объекта
Оценка качества тестовых методик на основе критериев валидности и надежности iconМетоды оценки достоверности функционирования биномиальных цифровых устройств в. В. Гриненко, СумГУ
Проблема обеспечения надежности систем включает задачи по разработке теоретических методов анализа надежности на стадии проектирования,...
Оценка качества тестовых методик на основе критериев валидности и надежности iconБазовое высшее образование по специализации
«товароведение и оценка качества» в Национальной металлургической академии Украины
Додайте кнопку на своєму сайті:
Документи


База даних захищена авторським правом ©zavantag.com 2000-2013
При копіюванні матеріалу обов'язкове зазначення активного посилання відкритою для індексації.
звернутися до адміністрації
Документи