多项选择题认知诊断的计分方法、分类方法及应用研究.pdf

摘 要 认知诊断的测验项目形式中，多项选择题 （以下简称多选题）是最常用的测 验项目形式之一。目前已有的认知诊断多选题是指选项多个但正确答案只有一个 的选择题。本研究中的多选题指的选项多个正确选项也多个的具有中国考试特色 的多项选择题。不同的测验对多选题的计分方式不同，得到的信息也不同，所以 研究多项选择题认知诊断的计分方式十分必要。多选题的认知诊断测验可以更好 的估计被试真实的掌握状态，但目前为止，却没有研究针对此题型开发出多选题 认知诊断模型，也没有对于认知诊断多选题的计分方法进行研究。因此，本研究 对多选题的认知诊断的计分方法、分类方法进行研究及应用。 本研究共分为三部分，研究一主要探讨两种分析模型（按题目计分的I-DINA 模型和按选项计分的O-DINA 模型）在不同条件下 （测验长度、测验质量、被试 量）的表现；研究二主要探讨三种分析模型 （按题目计分的I-DINO模型、按选 项计分的O-DINO模型和O-DINAO模型）在不同条件下的表现；研究三编制了 一个八年级上册物理科目多选题测验，对五种多选题认知诊断模型进行应用研 究，比较五个多选题认知诊断模型及其计分方法、分类方法在实证数据中的表现。 结果表明： 1 I-DINA I-DINO O-DINA （）随着测验质量的下降， 模型、 模型、 模型、 O-DINO模型和O-DINAO模型的模式判准率 （PCCR）、属性判准率 （ACCR）、 AACCR 平均属性判准率 （ ）的结果均成下降趋势，说明模式判准率和属性判准 率受项目参数的影响较大。 2 I-DINA I-DINO O-DINA （）随着被试人数的增加， 模型、 模型、 模型、 O-DINO模型和O-DINAO 模型的猜测参数g 与失误参数s 更加接近真值。说明 项目参数的估计受作答人数的影响，当作答人数增多时，项目返真值更好。 （3）4 属性条件下，不同被试、不同测验长度和不同测验质量的情况下， O-DINAO模型的评分估计结果与O-DINO模型一致，结果优于O-DINA 模型， 在本研究中更加推荐使用O-DINAO模型和O-DINO模型。 4 O-DINAO （）实证研究表明，本研究提出的 模型相比其他四个模型参数 估计精准度较高、模型资料拟合良好，在实际应用中推荐使用O-DINAO模型进 行多项选择题认知诊断分析。 关键词：多项选择题；认知诊断测验；DINA 模型；DINO模型；计分方法 I Abstract Among the test items for cognitive diagnosis, multiple-choice items (hereinafter referred to as the MCIs) are one of the most commonly used test item forms. Currently,the existing MCIs of cognitive diagnosisrefer to multiple-choice questions with only one correct answer. The MCIs in this study refer to multiple choice items with distinctive characteristics of Chinese exams. Different tests have different scoring methods of MCIs and carry different information, so it is necessary to stu