认知诊断测验信度和置信区间估计方法研究.pdf

摘 要 良好的信度是测验分数分析的前提，信度的研究在心理和教育测量学中有重 要的意义。认知诊断理论是对个体认知加工过程、知识结构和认知技能的诊断评 估理论，研究者基于认知诊断理论开发了大量的认知诊断测验。进一步开展认知 诊断测验信度的研究，将有利于认知诊断测验应用于心理健康教育和学科教学实 践。现有的认知诊断的信度研究主要集中在属性层面的信度，如属性的重测一致 性信度、属性分类一致性信度、改进的克隆巴赫α系数等。而较少研究探讨认知 诊断测验得分层面的信度指标。事实上，测验得分层面的信度能够反映被试在测 验上作答结果的可靠性。只有测验得分信度高的测验，研究者分析被试作答情况 得出的结果才可靠。因此本研究开发了认知诊断测验中测验得分层面的信度，即 测验信度。 本研究共有三个部分。研究一中推导了认知诊断测验信度的公式，通过模拟 实验探究测验信度的估计值及其估计准确度在不同实验条件下的表现。模拟实验 中操纵了测验质量、测验长度和样本量三个因素。此外还探究了认知诊断测验信 度指标与模式判准率、分类准确率间的关系。研究二通过Delta 法推导出认知诊 断测验信度估计值的方差，在此基础上给出了计算测验信度置信区间的方法，并 比较了测验质量、测验长度、样本量对置信区间估计结果的影响。研究三使用实 证数据检验了认知诊断测验信度和置信区间估计方法在实际应用中的表现。结果 表明： （1）认知诊断测验信度的估计值和估计准确度受到测验质量、测验长度的 影响，受被试样本量的影响不明显。随着测验长度的增加，测验信度估计值有增 大趋势，且与真值之间的平均偏差减小，均方根误差也逐渐减小，表明估计准确 度提高。提高测验质量，测验信度估计值有增大趋势，在测验长度中等和较长时 均方根误差也逐渐减小，估计准确度提高。 （2 ）测验信度与模式判准率、分类准确率具有显著相关。在不同测验质量、 测验长度和样本量的条件下，模式判准率、分类准确率的值有所变化。不同地是， I 测验信度虽然会随着测验质量提升、测验长度增加而有所增大，但受样本量的影 响不明显，样本量的增加不会使测验信度有较大地提升。 （3 ）测验信度的置信区间受到测验质量和测验长度的影响，受样本量影响 不明显。测验质量升高，置信区间长度变短，置信区间覆盖率升高；测验长度增 加，置信区间长度变短，置信区间覆盖率升高。Delta 法可以用于认知诊断测验 信度置信区间的估计。 （4 ）实证数据的研究中，Tatsuoka 分数减法测验的认知诊断测验信度值较 高，置信区间长度较短。 关键词：认知诊断测验信度；置信区间；测验质量；测验长度；样本量。 II Abstract Only when the reliability of test score is good can the test score be further analyzed. The study of reliability is of great significance in psychometrics and educational measurement. Cognitive diagnosis theory aims to evaluate individuals’ cognitive processing, knowledge structure and cognitive skills. Plenty of cognitive diagnosis tests have been developed based on cognitive diagnosis theory. Further research on the reliability of cognitive diagnosis test will be beneficial to the application of cognitive diagnosis tests