阅卷管理与监测系统.docxVIP

?

?

阅卷管理与监测系统

?

?

???——大规模考试作文评分研究系列之六

???上文说过，大规模考试中作文评分的误差控制包括三个不可缺少的基本环节，这就是评分标准、评分方法和阅卷管理。监测系统是阅卷管理系统中一个有特殊意义的组成部分。一次大规模作文考试，如果没有一套完善的管理制度，没有一个有效的监测系统，则任何评分标准的厘定、评分方法的改进都只是一句空话。

???在测试研究中，考务管理是一个专门的领域；在测试机构中，考务管理是一个有特定职能的分支机构。考虑到本刊的读者对象，以下只作约略的概述。

???１．大规模作文考试的阅卷管理系统

???大规模作文考试的阅卷管理系统应承担以下三个方面的职责：ａ．阅卷的业务领导，ｂ．阅卷人员的行政管理，ｃ．阅卷质量的监测。在现阶段，我国比较完善的阅卷管理程度可以示意如下：

???作文阅卷管理示意图

???（附图{图}）

???现代科技的发展，为作文阅卷的管理提供了重要的辅助手段。借助这种手段，阅卷管理的主要工作有：

???①试卷的随机编排

???试卷的随机编排就是把不同学校的考生打乱混合排列。有了电脑，这项工作在技术上是不难解决的。重点学校与非重点学校之间，水平可以相差很大，如果不解决随机编排问题，则监测系统的数据将失去代表性，既使得这些数据缺乏应有的说服力，也容易出现盲目的调控。有了随机编排，不但阅卷员的评分状况能够得到比较客观的反映，而且就阅卷员本人来说，由于一本试卷（即同一考场中）兼有各类学校的考生作文，可以大大减弱评分心理的位置效应（参阅《系列之一》）。此举可以消除评分的系统误差，即各校的平均成绩与其实际水平大体接近，但还不能遏制评分的随机误差（参阅《系列之一》文末注释）。

???②阅卷员的选择与培训

???《系列之三》所披露的数字表明，阅卷人员决不是“年龄大、职称高”才好。阅卷队伍的形成应该是一个选择的过程，由于大规模考试作文评分的特点与困难，阅卷者应该是一支半专业化的队伍，为此，需要逐步建立阅卷人员档案。“高考作文评分误差控制”课题组的试验省分有的正考虑实行“阅卷员证书”制度（国外已有），这是条很有价值的措施。

???在选择阅卷人员的基础上还要进行培训。以下两项调查反映了短期培训的效果。

???调查Ａ

???取各类作文１０篇，１５名阅卷员在培训前后两次重评。结果如下：

???培训前培训后篇平均标准差４．８４３．９７总体标准差３．９７４．６３

???可见经过培训，阅卷员评分的一致性有所提高，在拉开分数距离方面情况有所改善。

???调查Ｂ

???取各类作文６０篇，分成对等两组，１６名阅卷员先评第一组（作为培训材料），相隔３日再评第二组，结果如下：

???第一次第二次篇平均标准差３．４６７３．１０５

???观测结果与调查Ａ相近。

???培训可以有两种方式：ａ．短期集中培训，ｂ．结合阅卷过程进行。后者一般都与样本卷讨论和典型卷讨论合并进行，将在下面专门介绍。

???③样本卷的选定及其策略

???即使有了比较完备的评分参照量表（参阅上期），每次大规模考试的样本卷仍是不可少的。这是因为每年的试题都有其个性，有其需要特殊处理的矛盾，需要根据当年试题情况编制样本卷系列予以解决。

???样本卷的功能，一是使评分标准明确化、具体化，二是针对影响阅卷稳定的心理因素予以尽可能的控制。因此编制样本卷系列，在着眼点方面，在策略方面，和参照量表的编制可以有所不同。参照量表的编制要遵循“等距性”原则，即各典型例卷之间，如果按百分制计算，其分距大体上是相等的；样本卷系列的制订，则可以进一步着眼于“分界线”和“分歧点”。

???例如：“趋中倾向”（参阅《系列之一》）是大规模考试评分中一个比较突出的问题，针对这种情况，１９９１年江西省在高考作文评分选定样本卷时采取了以下对策：ａ．一、二类样本卷取下限，ｂ．三类卷取上、下限。采取上述措施的结果，各类试卷的分布状况有所改善：类别一二三四五百分比２２２４３２７５

???高考作文每年分值不同，为了便于比较，重新划分分数段使之能与１９９０年相对应，结果如下：

???(91)29---35(91)20---28(91)12---19(91)1---11

???(90)33---40(90)23---32(90)14---22(90)1---13

???199110%46%36%8%

???90(综)6%58%27%9%

???90(综)11%62%22%5%

???从表中的数据可以看出，高分数段的情况没有显著变化，而第二档次的人数有大幅度下降，第三档的数字有明显上升。从整体上看，打保险分