Оценка качества тестовых методик на основе критериев валидности и надежности
Скачати 52.04 Kb.
|
|
В.С. Ноздренков, ассистент, И.Л. Лебединский, к.т.н., доцент Сумский государственный университет, г. Сумы ОЦЕНКА КАЧЕСТВА ТЕСТОВЫХ МЕТОДИК НА ОСНОВЕ КРИТЕРИЕВ ВАЛИДНОСТИ И НАДЕЖНОСТИВажным шагом в составлении теста является проверка качества предложенных задач. Если задания не достаточно качественны, то велика вероятность того, что с ними одинаково справится (или не справится) как отличник, так и двоечник. А это искажает истинную картину успеваемости. Поэтому необходимо произвести оценку теста на валидность и надежность. Из литературы [1] известно, что проверка теста на валидность начинается с построения матрицы результатов. Матрица имеет размерность M×N, где М – число заданий, N – число испытуемых. Обозначим через xij  числовую оценку успешности выполнения j-го задания, выполненного i-м испытуемым. Для каждого испытуемого определяется суммарный балл  , определяющий успешность, а для каждого задания – суммарное количество набранных баллов  . На основании полученных данных строят упорядоченную матрицу, в которой испытуемые располагаются по их успешности, а задания – по их трудности.После упорядочения матрицы результатов проводят ее обработку. Главной целью этого является расчет показателей связи между собой и с суммой баллов испытуемых. Основу этого составляет коэффициент корреляции Пирсона  , который определятся по формуле
где  и  – параметры, связь между которыми рассчитывается;  – сумма произведений отклонений и от их средних значений;  или  – сумма квадратов отклонений по или от его предыдущего значения. Чем выше значения коэффициентов корреляции, тем выше качество теста, при этом нормой считается, если их значения не меньше 0,3 [1].Для определения указанных выше величин используются формулы:
Для связи между k-м заданием и суммой балов
для связи между k-м и m-м заданиями
Величина  вычисляется следующим образом:
На основании результатов расчетов строится корреляционная матрица, компонентами  которой являются коэффициенты связей между заданиями. Кроме того, рассчитываются коэффициенты  ( ) связей всех заданий с суммой баллов для каждого испытуемого. Если для k-го задания  , то связь считается достаточной, и k-е задание остается в тесте. Если же будет , то связь считается не достаточной, k-е задание необходимо удалить из теста.Аналогично рассчитывается коэффициент связи между двумя заданиями, например, k-м и m-м, т.е. элементы корреляционной матрицы. Необходимые формулы имеют следующий вид:
Рассчитанная матрица коэффициентов связи между заданиями имеет размерность  , поскольку число столбцов и строк равно числу заданий, и симметрична, так как  , т.е. эти коэффициенты выражают связь между одними и теми же заданиями. Диагональные компоненты матрицы равны единице, так как выражают связь задания с самим собой.Одной из важнейших интегральных характеристик теста является средний коэффициент корреляции задания со всеми заданиями  Нормой считаются значения коэффициентов корреляции не ниже 0,3 [1]. В этом случае тест валиден по способности дифференцировать испытуемых.Важной характеристикой теста является его надежность. О высокой надежности метода говорят в том случае, когда метод точно измеряет то свойство, для измерения которого он предназначен. В качестве критериев точности можно отметить следующие: - при повторном применении метода к тем же самым испытуемым в одних и тех же условиях через определенный интервал времени результаты обоих тестирований существенно не различаются между собой; - действия случайных посторонних факторов не оказывают существенного влияния на результаты тестирования. В качестве посторонних факторов можно назвать следующие: эмоциональное состояние и утомление, если они не входят в круг исследуемых характеристик, температура, освещенность помещения и др. Такие посторонние факторы еще называют факторами нестабильности измерительной процедуры. При повторном применении метода к тем же самым испытуемым через определенный интервал времени в измененных условиях результаты обоих тестирований существенно не различаются между собой. Существуют различные методы оценки надежности. Ретестовый метод – повторное тестирование выборки испытуемых одним и тем же тестом через определенный интервал времени при одних и тех же условиях. За индекс надежности принимается коэффициент корреляции между результатами двух тестирований. Надежность взаимозаменяемых форм – повторное тестирование выборки испытуемых параллельной формой теста через минимальный интервал времени при одних и тех же условиях. За индекс надежности принимается коэффициент корреляции между результатами тестирования двумя параллельными формами теста. Высокий коэффициент корреляции и большой интервал между двумя испытаниями свидетельствует о высокой надежности теста [2]. Метод расщепления состоит в том, что тест разбивают на две сопоставимые части. Респондент выполняет задания этих двух частей в течение одного сеанса с получением двух результатов (например, тест Равена содержит две части: четные и нечетные задания). За индекс надежности принимается коэффициент корреляции Спирмана-Брауна между результатами тестирования двумя этими частями. Он называется коэффициентом внутренней согласованности теста. Для его расчета используется формула:
где  – коэффициент корреляции Пирсона, характеризующий в данном случае связь между двумя половинками теста – четных и нечетных заданий. Он рассчитывается по формуле (1).Предложенные методики оценки валидности и надежности тестов позволяют выполнить оценку качества тестовых заданий. Список литературы 1. Аванесов В.С. Научные основы тестового контроля знаний. М.: Исследовательский центр, 1994. – 135 с. 2. Аванесов В.С. Композиция тестовых заданий. Учебная книга для преподавателей вузов, учителей школ, аспирантов и студентов педвузов. М.: Адепт, 1998. – 217 с. |
.
Схожі:
 | Оценка качества знаний как индикатор качества обучения Оценка качества знаний может являться опосредованным выражением качества обучения и может быть использована для оценки применяемых... | | Основы надежности ла надежность сложных систем Для расчета надежности сложных систем используют модель, которую составляют на основе функциональной схемы системы. В качестве моделей... |
| Основы надежности ла показатели надежности Во процессе эксплуатации для анализа надежности изделий ат используют показатели надежности | | Липатова О. В., к э. н., доц. Белорусский государственный университет транспорта оценка качества и конкурентоспособности логистической деятельности транспортно –экспедиционных организаций Оценка качества и конкурентоспособности логистической деятельности транспортно –экспедиционных организаций |
| Удк 621. 311: 658. 012. 011 Оценка качества функционирования асду с использованием марковских процессов и критериального моделирования Оценка качества функционирования асду с использованием марковских процессов и критериального моделирования | | Голік Артура Петровича Оценка надежности отказоустойчивых систем управления в условиях априорной определенности |
| Основы надежности ла обеспечение надежности воздушных судов и авиационных двигателей Формирование надежности изделий ат зависит от технических и организационных факторов, охватывающих этапы проектирования, производства... | | Основы надежности ла математические модели надежности Построение модели надежности предусматривает определение аналитического выражения для вероятности безотказной работы объекта |
| Методы оценки достоверности функционирования биномиальных цифровых устройств в. В. Гриненко, СумГУ Проблема обеспечения надежности систем включает задачи по разработке теоретических методов анализа надежности на стадии проектирования,... | | Базовое высшее образование по специализации «товароведение и оценка качества» в Национальной металлургической академии Украины |