单标定过程的双目标CD-CAT研究——基于Higher-order CD-CAT视角.pdf

摘 要 为了同时获取被试的宏观能力分数以及用于改善学习与教学等微观认知状 态信息，研究者们提出了双目标认知诊断计算机化自适应测试（dual-objective CD-CAT ），即在传统的CAT 基础上同时估计被试的宏观能力值和微观认知状态 信息。根据项目参数标定过程的不同，双目标 CD-CAT 可分为采用双标定过程 的双目标CD-CAT 和采用单标定过的双目标CD-CAT（即Higher-order CD-CAT ）。 不同于前者通过两个潜在结构完全不同的模型（IRT 模型和CDMs 模型）标定相 同的项目参数，后者只需对每个项目标定一组参数。因此，Higher-order CD-CAT 更加合理，且题库建设成本更低。 然而，当前并没有开发出适用于Higher-order CD-CAT 的选题策略，该CAT 系统只能采用单目标CD-CAT 中的传统选题策略，即只对微观认知状态自适应， 其结果会导致宏观能力的估计精度不高，而这违背了双目标 CD-CAT 力求同时 获取被试两类参数高精度估计的初衷。为此，在Higher-order CD-CAT 基础上， 本文试图开发能对宏观能力和微观认知状态同时自适应的新选题策略，思路如下： 在高阶认知诊断模型框架下，被试的作答由其微观认知状态决定，而微观认知状 态归属于宏观能力，因此被试的作答是由宏观能力和微观认知状态联合决定，将 两者的联合后验概率结合到香农熵选题框架中，开发出适用于 Higher-order CD-CAT 的、兼顾宏观能力和微观认知状态的HO-SHE 选题策略。 另一方面，虽然多级计分项目在实际中已被广泛使用，但当前的双目标 CD-CAT 并不能分析多级计分项目，而这极大地限制了双目标CD-CAT 在实际中 的应用。因此，本文另一个目的是在已有的二级计分Higher-order CD-CAT 基础 上，拓展用于分析多级计分项目的多级计分Higher-order CD-CAT 。 Monte Carlo 模拟实验结果表明：在二级计分 Higher-order CD-CAT 中， HO-SHE 选题策略下的被试宏观能力和微观认知状态的估计精度在不同模型条 件下均高于传统选题策略，其中微观认知状态的估计精度在HO-DINA 模型下的 I 优势最明显；同时，HO-SHE 选题策略的项目曝光率低于传统选题策略，对题库 的使用更为均匀。在多级计分Higher-order CD-CAT 中，所有选题策略在测验终 止时的能力参数估计的MSE 指标都低于或等于0.215 ，而对认知状态诊断正确率 PCCR 指标均高于0.985 ，结果表明多级计分Higher-order CD-CAT 在多级计分项 目上效果良好；此外，HO-SHE 选题策略的被试参数估计精度均高于传统选题策 略，并在题库安全性上保持了明显的优势，该结果与二级计分项目下的结果一致， 说明新方法通用性能比较好。总之，本文为真正地实现双目标的 CD-CAT 提供 了新的且更为有效的方法。 关键词：双目标CD-CAT ；单标定过程；Higher-order CD-CAT ；项目选题方法； 多级计分双目标CD-CAT II Abstract In order to simultaneously obtain the general ability scores as well as detailed knowledge state information used to improve learning and teaching and so on, the dual-objective cognitive diagnostic computerized adaptive testing (Dual -objective CD-C