09项目反应理论及其在考试成绩等值上的应用.docVIP

项目反应理论及其在考试成绩等值上的应用 一九八九年广东省英语高考标准化试验报告 桂诗春 李崴 (一) 一九八五年开始的广东省英语高考标准化改革试验,经国家教委考试管理中心组织国内有关专家于一九八八年十一月在广东对其进行了阶段性评估。专家们认为: 英语科的考试改革为我国英语高考向标准化过渡,探索出一条可行的道路,并决定在今年首先将英语科高考的标准化试验逐步推向全国。 考试推向全国了,但标准化考试改革试验并没有结束。今年我们试验小组制定下了一个难度更大的新目标作为今年试验的首要任务,这就是 ---- 考试成绩的等值问题。 标准化考试试验以来,我们作了一系列的改革,主要有下面的几方面: 1.制定了MET(Matriculation English Test)考试大纲,并编制了一套能够从笔头和口头两方面测量出考生语言能力和语言知识的、选拔性较强的英语试题,以便在高考中使用。 2.改善主观题的评分方法,减少主观性因素。 3.试行并推广使用电子计算机和光电阅读器,实现高考改卷、评分和试题分析自动化。 4.改革计分制度,试行并完善标准分分数制度,对标准分作正态化处理。 5.探索建立联省常模的模式及方案。 6.编制平衡试题,建立观察点着手进行稳定试题的探索。 这些工作我们都基本完成(分别参看桂诗春、李筱菊、李崴--85,86,87,88年英语高考标准化试验报告),现在所面临的就是如何保持历年考试成绩的稳定、可靠,也就是分数等值的问题。由于标准分制度是按正态化的模式建立常模,使之体现出考生在当年全体考生中的位置,它在各科分数的可比性、可加性、以及克服试题难易对分值的影响方面,较之原始分有了明显的进步。但是其不足之处是,它是以当年考生群体的平均值为常模, 因此,当年的分数值与往年的分数值只能在考生的位置上作比较,而不能在绝对的水平上作比较;换句话说,各年的分数所体现的不是同样一个水平 ---- 因为各年考生的群体是在变化的,这对于研究历年考生的学业水平以促进教学,不能不说是一个很大的缺陷。 (二) 要解决各年分数的等值问题,可以从两个方面着手。一是使各年试题的难易度稳定。这要依靠命题人员的经验和努力,并将试题在同质样本的考生内做预测,以了解其难度值,然后再将难度值相当的题目拼成试题来考学生。在国外,一些大规模的考试如TOEFL主要是采取这种方法。这要求有一批熟练的、稳定的命题专家,并且要有一批较稳定的有代表性的试测基地和分析、筛选试题的系统,乃至建立题库。这对于我们目前的国情来说,要有一批专职从事命题的专家队伍很难办到 ---- 目前参加高考命题的都是兼职的大、中学老师;要有一批高考的试测基地也难以保证 ---- 很难保证不会漏题;且参加试测的人很可能也要参加当年高考等。至于分析筛选试题的电脑系统这倒是不难解决的。 第二个方面是使各年的分数等值。即使有了预测,要使试题稳定实际上还是不易做到的。这就产生了用平衡题目(或称连接题目)来调整分数的做法。调整分数以某一年考试的分数为基准,然后每年计算当年的分数比基准年分数的差异情况,用线性回归方式将其调整到与基准年分值相一致的分数。计算差异需要用到平衡题目。用平衡题目来平衡考试的方法较多,可在两套题内设相同题目,用这些共同项目的成绩来平衡其它题目的成绩。这种方法在高考中似乎也不可能(高考中不能出现与上一年相同的题目)。 在EPT(国家教委组织的出国人员英语水平考试 English Proficiency Test)中我们曾采取了这样的方法:将第二年准备用的试题B给已经考过第一年试题A的部分考生S1考(在考完A后不久即考B),然后以S1考生的B和A考试的成绩之间的关系来调整来年大规模考试B的S2考生成绩。这种方法要求S1考生在考A和考B时必须有同等的应试水平,这除了在时间上不能相隔太久之外,还要求考生对这两个考试的应试态度要一致。否则考A时全力以赴,考B时却马虎应付,则所得数据就有误差。再一种方法是我们在前几年MET中采用的。利用一套与MET题目形式相同、难易基本一致的平衡试题,在每年高考前几天内给固定的几个观察点的当年高考考生去做,考完后观察这些考生平衡题成绩及高考题的成绩的差异情况与去年同是这几个观察点的高考考生平衡题成绩及去年高考成绩的关系进行线性调整。这种方法在86、87、88年试用,并得出86、87年试题难易度相同,原始分数分值相等,免于调整的结论。88年因有意识调整了试题的难度,故虽进行了平衡题考试,并得出了MET87、MET88难易差异数据,但没有对全体考生作调整。另外的原因是对于调整的数学模式我们还没有足够的信心,由于人的认知水平是非线性的,考试成绩所反映的水平也是非线性的,而将原始