基于经典测量理论和项目反应理论的等值与连接(三).docVIP

导　言 笔者连续撰写了三篇论文探讨测验等值和连接的概念、程序、应用以及存在的问题。第一篇文章(发表在《考试研究》2011年第1期)探讨了效度的核心问题,以及在命制试题和组卷过程中构建等值测试版本的重要意义。同时,介绍了等值和连接的主要概念和基本术语,概述了经典测量理论(CTT)和项目反应理论(IRT)。第二篇文章(发表在《考试研究》2011年第2期)重点介绍了连接和等值的取样及等值设计,并探讨了建立题库的步骤和基于CTT的等值方法。本文是这一系列的最后一篇文章,主要介绍基于IRT的等值方法,同时就当前教育测量中的多级IRT模型的使用、纵向量表化、计算机化测试以及等值误差四个重要问题进行简单讨论。本系列论文取材于《一名业界人士对等值和连接的介绍———经典测量理论和项目反应理论入门》(A Practitioner＇s Introduction to Equating with Primers on Classical Test Theory and Item Response Theory, RyanBrockmann,2009),是面向开发、维护和改进教育测量项目的教育工作者而作的,其目标读者群包括教育测量的用户、从业者以及负责教育测量项目的政策制定者。当然,对于其他想对连接与等值作一些基础的了解,从而更深入学习等值技术的人来说,这些论文也是非常实用的基础知识。笔者强烈建议读者参阅第一篇文章,其中阐述了这一系列文章的背景及思路。 在应用IRT模型进行等值时,有一些基础概念非常重要,本文介绍IRT等值的目的就在揭示这些概念。IRT等值可以通过出现在两个或两个以上的测试中的一组题目(称为共同题),或者参加了这两个或两个以上测试的一组样本考生(称为共同组)来实现。在测量心理学上,我们可以认为随机等值组群就是同样的一群人去作不同种类的测试。本文主要介绍建立在共同题基础上的IRT等值方法,并简要说明这种基于共同题的等值的逻辑及基本做法是如何应用于共同组的等值。在共同题等值中常用的四种方法有: ?? 应用等值常数(applying an equating constant) ?? 利用固定校正估计题目参数( estimating item parameters with fixed calibration) ?? 利用同时校准估计题目参数(estimating item parameters with concurrent/simultaneous calibration) ?? 应用测试特征曲线法( the Test Characteristic Curve procedure, TCC) 作为本文基础(也是在不同等值方法中使用的)的共同题(锚题),笔者认为有必要再进一步明确其主要特性,这在本系列论文的第二篇中已作过介绍了。这里就共同题的使用准则再作一个简要的回顾,即: ……“微型版本”,锚题在试卷A和试卷B的位置(题号)应大致相同,试卷A和试卷B的锚题应该完全一样。不能修改文字、答案选项顺序、题目材料,也不能出现不同的提示语,或者做出其他任何可能影响考生在不同试卷中表现的修改。同时,如果条件允许的话,在使用选择题、简答题、延伸题等题型时,锚题组应该与整份试卷具有大致相同的比例。 如果有读者想更加详细地了解基于IRT的等值,可以参考以下资料,如Best Test Design Test(Wright Stone, 1979),Equating, Scaling, and Linking: 2nd Edition (Kolen Brennan, 2004), Educational Measurement, 4th Ed., (Brennan, 2006),Linking and Aligning Scores and Scales( Dorans, Pommerich, Holland, 2007 ),以及A Practitioner’s Introduction to Equating with Primers on Classical Test Theory and Item Response Theory (Ryan Brockmann, 2009)等。 1.应用等值常数进行等值 在等值试卷和建立题库时,使用嵌入两份试卷中的共同题是一种十分高效且实用的方法。对于两份有待等值的试卷,此方法能够用来估计所需的“原点变化”( the shift in the origins)。笔者接下来会为读者说明应用等值常数进行等值时所要注意的基本原则和步骤,并以一个案例来示范如何使用单参数IRT模型(Rasch模型)通过等值常数进行等值。这一方法的逻辑与实际操作中的完全一致,而且通过一定的扩展与变化,这些原则就能够适用于大多数IRT等值的情况。当然,