国际大型测评项目中等值技术的应用与启示.pdfVIP

国际大型测评项目中等值技术的应用与启示

王烨晖;张缨斌;杨涛;辛涛

【摘要】国际大型测评项目在年度内题本等值时,主要采用同时估计的方法实现对

题目参数的估计,并使用似真值实现对学生个体能力的报告,各个测评项目之间的等

值设计与处理相对统一与一致.在年度间等值时,不同的项目,依据各自的设计特点,采

用锚题或锚人的方法,使用同时估计,并通过线性转换将学生能力分数置于同一量尺

上,实现年度间分数的比较.依据我国国情,建议采用锚题与锚人相结合的等值设计方

式实现年度间测评结果的链接.

【期刊名称】《中国考试》

【年(卷),期】2017(000)008

【总页数】7页(P43-49)

【关键词】等值;链接;题本设计;大规模测评

【作者】王烨晖;张缨斌;杨涛;辛涛

【作者单位】北京师范大学,北京100875;北京师范大学,北京100875;北京师范大

学,北京100875;北京师范大学,北京100875

【正文语种】中文

【中图分类】G405

国际大型测评项目日益受重视，不仅因其有助于人们评估学生的学习现状和教育目

标的达成情况，还因其有助于研究者全面考察学生发展的影响因素，为教育政策的

制定提供客观依据。但这些测试都面临着同样的问题——广泛的测试内容与有限

的测试时间之间的矛盾。为了解决该问题，矩阵抽样的多题本设计技术应运而生：

根据测试内容开发一套完整的试题，然后把试题划分成若干小套试题，每一小套试

题就是一个题本，每个学生只作答其中的一个题本[1]。为了让学生的测试分数具

有可比性，就需要运用等值技术，把作答不同题本的学生的测试分数链接

（linking）到同一量尺上，即年度内等值。

仅凭一次测试结果，并不能提供充足而稳定的信息。国际大型测评项目越来越重视

开展追踪或趋势研究。从2003年国际教育成就评价协会（In⁃ternational

AssociationfortheEvaluationofEducation⁃alAchievement）将其负责的一

个项目的名称由ThirdInternationalMathematicsandScienceStudy变更为

TrendsinInternationalMathematicsandScienceStudy可以看出，趋势研究

已成为TIMSS的一个关注点。和年度内等值类似，若需要分析学生测试表现的发

展趋势，就得保证不同年度的测试分数具有可比性。此时，也需要用到等值技术，

将不同年份学生的测试分数转换到同一量尺上，即年度间等值。

在2012年及之前，PISA采用平衡的不完全组块设计（balancedincomplete

blockdesign，BIB）进行题本的设计。以2012年为例，所有题目组成13个题

组：7个数学题组，3个阅读题组和3个科学题组。在将题目分配到各题组中时，

一方面会尽量使每个题组所需的作答时间相同；另一方面，会使同一科目不同题组

所含的题目在内容维度和认知维度上的分布尽量相近。不同题组间无相同题目。划

分好题组后，4个题组构成一个题本，题组的两两组合在所有题本中均不重复，共

有13个题本。每个题组在题本的4个组块位置均出现一次，以平衡可能存在的顺

序效应。在这种设计中，大部分题本在不同科目上的题量存在差异，这种差异有可

能给学生作答带来影响[2]。为了降低这种影响，PISA2015的题本设计中，大部

分题本只考查某两个科目，且两个科目的题量相同。由于一个题本只能考查两个科

目，PISA2015的纸笔作答题本数量多达30个。

PISA在进行年度内等值时采用的是同时标定法，在一次参数估计过程中同时估计

所有题本的题目参数和能力参数[3]。具体做法为：将两个或更多题本的数据合并，

对其中由于题本设计造成的缺失，在估计软件中将相关题目标识为未施测。以

PISA2012为例，首先从每个国家随机选取500个学生，组成一个标定样本；其

次，根据标定样本的作答数据标定所有题目参数；最后，根据题目参数估计所有学

生的能力参数（似真值①除了IRT模型、题目参数和学生作答数据，PISA、

TIMSS和NAEP还会结合一些背景变量（或对背景变量进行主成分分析后提取得

到的变量），对学生的能力参数分布进行估计。然后，从能力参数分布中抽出5

个值代表学生能力。这5个值被称为学生能力的似真值（plausiblevalue）。）。

PISA2015中，仍然采用同时标定法，但与以往的做