主观题评分误差控制研究中的评分量表研制.doc

主观题评分误差控制研究中的评分量表研制 …………………. 前论坛 主观题评分误差控制研究中的评 分量表研制 北京师范大学文学院张秋玲 北京师范大学教育学院尹逊才 摘要:如何有效地控制主观题评阅过程中的评分误差,客观公正地评定考生的成=不 的研究课题.考试测量的精确性部分地取决于如何定义量量表的单位,因此研制一个等级个数合理的评 阋主观题的量表,是控制主观题评分误差的有效手段. 关键词:主观题评分误差评分量袁 考试中,主观题具有测量学生综合能力的作 用,有着客观题所替代不了的功能.主观题的最大 缺点就是评卷中易受评卷人员主观因素的影响,评 分误差较大.主观题评分往往通过让考生完成一 项指定任务,展示其在问题解决过程的推理,判断, 操作或表达等方面的技能,然后由评分者依据既定 的标准对考生进行综合评定.【l1如何有效地控制主 观题评分误差,客观公正地评定考生的成绩,是一 个世界性的研究课题.多年来的研究结果显示,干 扰主观题评分误差的因素源自五个方面:考生能 力,评分量表的等级结构,评阅人员评分的松紧度, 评分行为目标的难度和试题的难度.这使得主观题 的评分处于双模糊状态:一是评分标准的模糊,二 是评阅人员掌握标准的模糊.评分标准的模糊主要 表现在:评分标准的等级数与试题赋分不一致;评 分等级定义的不一致;评分标准中的行为特征的描 述前后不一致.阅卷过程中评分误差的引起多缘于 测量的行为特征模糊或参考标准中评分等级的定 义不清而造成的,所以研制测量工具时所拟定的评 分等级量表合理与否,是控制主观题评分误差的有 效手段之一. 一 ,主观题评分量表的研制 国际阅读能力进展研究(Progressin InternationalReadingLiteracyStudy,缩写PIRLS), 美国教育进步评价(theNationalAssessmentof EducationalProg,ess,缩写NAEP),国际学生评价 项目(theProgrammeforInternationalStudent Assessment,缩写PISA)的技术报告分析,均对阅读 材料中主观题的评分误差做了相关的研究与控制, 这些测评工具控制主观题评分误差的共性手段是 制定指导详尽,分数等级清晰合理的评分量表.下 文将结合我国教育考试中的语文阅读部分的主观 题设置,阐释如何编制控制主观题评分误差的等级 量表. 1.依据题型拟定合理的分数类型及等级个数 考试测量的精确性部分地取决于如何定义测 量量表的单位,教育考试定义的量表单位通常有 两种:对主观题而言是分数等级,对客观题而言是 正确应答的试题数.翻总体评分法与分析评分法是 主观题常用的两种评分方法.总体评分法认为考 生的能力是一个统一的整体,这个能力只能产生一 个单一的分数,适蜊于赋分值较低,测量行为特 征比较单一的试题类型,如语文考试中阅读部分简 答题的评分.分析评分法认为评分等级参照行为 目标确定的行为表现水平,最低水平为无任何行 碡支考嵌硒宪 2009年第1期 ………………………一l1莳漕麟 为证据,最高水平为完全表现出期望行为,适 用于赋分值较高,测量行为目标多向的试题类型, 如语文考试中的作文评分. 我国大规模教育考试中主观题的评阅,一般是 评阅教师依据多年的阅卷经验,学生的基本作答情 况及此题的分值使用总体评分法,给出一个他自己 认为的合适分值.然而在PIRLS,PISA及NAEP等 国际性测评工具中,均依据主观题所考查的行为目 标及要求学生所表现出来的能力水平确定一致的 分数类别和等级个数.PIRLS,PISA及NAEP的主 观题(constructed—response)常为赋1分或2分简答 题(short—answeritems)和赋3分的拓展题 (extended—responseitem).简答题主要用来测评学 科课程标准中要求学生掌握的基本知识和基本技 能;拓展题主要测评学生能否对命题者所设的问 题,依据阅读材料有效整合多种信息做出合理的解 释与评价.一般情况下,赋1分的简答题分为可接 受(1分)和不可接受(0分)两个水平的作答.赋2 分的简答题分为正确作答(2分),部分正确作答(1 分),错误作答(0分)三个水平.赋3分的拓展题分 为拓展作答(3分),基本作答(2分),部分作答(1 分),错误作答(0分)四个水平.所以编制评分量表 的第一步就是根据测题所考查的目标及学生的行 为特征确定合理的分数类型及等级个数. 2.给每一个分数等级匹配恰当的学生范例 确定合理的分数类型及等级个数仅是试题 命制阶段,命题者根据考试的测量目标及所要考察 的行为目标做出的研究分析,只能从宏观角度对主 观题的评分予以理论的指导.在实践中仍然难以避 免不同评阅人评分一致性及同一评阅人评分稳定 性的问题.为此,