认知诊断试题参数估计与知识点标定的自适应设计研究.pdf

摘 要 计算机化自适应诊断测验的实施往往依赖于高质量的大型题库。认知诊断测 验的题库，不仅要保证试题的内容符合课程标准，而且还需要根据作答数据估计 认知诊断试题参数以及标定试题所考查的知识点或属性向量，这更是实现根据学 生的知识掌握状态自适应的选择试题，高效而准确地评估学生知识掌握状态的基 础。同时，随着题库中某些试题的频繁使用，以及课程标准和教材修订等问题的 出现，题库中的部分项目需要淘汰、修改，甚至还需要补充一些新编制的题目。 因此，如何根据作答数据估计试题参数以及标定题目所考查的知识点，成为面向 个性化自适应学习，构建高质量大型题库亟需解决的重要问题。早期的研究主要 集中在标定方法的研究上，而对于在线设计方法讨论相对较少。特别是在估计新 题的项目参数和标定其属性向量方面，众多研究采用的是随机分配新题的方法， 这样就不符合计算机化自适应诊断测验中“自适应”的思想。 本论文为了解决随机设计存在的缺陷，出了一种针对新题的属性向量在线 标定及其项目参数在线估计的自适应设计。从实际应用问题和条件出发，主要开 展了三个方面的研究：（1）因为部分认知诊断分类方法 （如非参数分类方法）， 无需项目参数而需要标定题目属性向量，由此开展了基于香农熵的新题项目属性 向量标定的优化设计；（2 ）在学科专家或在线方法标定了新题所考察的属性向量 基础之上，出基于信息量矩阵的项目参数在线估计的优化设计；（3 ）为了同时 标定新题属性向量和估计项目参数，结合前面两种方法，出了兼顾在线估计和 在线标定的混合优化设计。 以上三个研究在属性个数为 5，认知诊断模型为确定性输入噪音与门模型 （deterministic inputs, noisy-and-gate，DINA ）模型的条件下，标定和估计 12 道 新题的属性向量和项目参数。并且研究一讨论在学生人数不同（100，200 ，400 ， 800，1600）的条件下，对新题属性向量标定的影响。研究二则讨论在被试人数 较少（20 ，40 ，80，160，320 ）的条件下，对项目参数估计的影响。研究三则主 要讨论两种自适应设计自由组合的条件下，对项目参数估计的影响。三个研究均 与随机设计 （被试从 12 道新题中随机选择项目作答）进行了比较。模拟研究结 果表明：（1）随着被试人数的增加，新的在线标定和在线估计的自适应设计均优 于随机设计；（2 ）采用两种自适应设计比只采用一种自适应设计或者两者都不采 用，在项目参数估计时能得到更加精确的结果。是否可以将新的自适应设计运用 于不同认知诊断模型，不同属性层级结构等，这些问题都值得进一步研究。 关键字：计算机化自适应诊断测验；题库；项目参数；属性向量；自适应设计 I Abstract The implementation of cognitive diagnostic computerized adaptive testing (CD-CAT) often depends on a large item bank with high quality. The item bank of cognitive diagnosis test not only ensures that the content of the item conforms to the curriculum standard, but also estimate the parameters of cognitive diagnosis items and calibrate the knowledge points or attribute vectors of the item according to the answer data, which is the basis of realizing the selection of items according to the students knowledge mastering state and evaluating the students knowledge mast