信度-黑龙江大学外语教学研究部.doc

第五章 语言测试的信度研究 美国应用语言学教授Lyle F Bachman，现任国际语言测试协会ILTA 副主席, 是世界著名的语言测试专家, 其理论专著 Fundamental Considerations in Language Testing 曾获得美国Midenberger 奖, 在测试领域产生了广泛而深远的影响。信度 Reliability也称可靠性或一致性 Consistency, 是Bachman 的主要研究领域之一。Bachman 认为, 信度所回答的主要问题是：考生的测试成绩中有多少误差是由考生本身能力之外的因素引起的? 换言之, 考生的成绩在多大程度上是可靠的或可信的? 信度的定义 Bachman(1996)把信度定义为“测试的一致性”(consistency of measurement)。简言之就是测试结果的可信度、可靠度, 即考分的一致性（consistency of test scores)。例如, 我们可以这样来检验测试的信度：使用同样一份试卷, 在两种不同的场合、环境中, 在较短的时间间隔内施与同样的学生，如果测试结果基本吻合，那么证明测试是有信度的。一份试卷的测试结果如果缺乏信度, 就没有使用价值, 同时也减弱了考试的公正性。当然, 要完全消除不一致性也是不可能的, 我们能做的是尽量把影响不一致性的不利因素控制在最低程度, 以便于提高测试信度。 语言测试专家Brown把信度定义为“测试结果的一致或稳定的程度”。换句话说,有信度的试题应在任何时间、任何地点通过测试都能够得到一致的结果。试题的信度可以通过比较两套试题的结果或试题内容来获得, 其结果接近或一致, 说明试题是有信度保证的。教育测试的目的是要衡量某种相对稳定的东西, 我们不苛求一份试题经反复测试之后, 每次结果都绝对一致, 但几次测试结果不应相差太大。例如, 我们用标准、准确的软尺去测量一张桌子的长度, 第一次测量的结果和第二次测量的结果都是九十九公分, 那么, 这两次测量的结果是一致的, 也就可靠。但教育测量的对象是人, 不是物。而人的因素不稳定, 要想完全排除误差几乎不可能。如果把一份试题分成份量和难度相当的两部分, 分别在两天考完。假如某学生第一天得了85 分, 第二天他不一定能得 85 分, 但如果得了83 分, 也能证明这次测试是可靠的。我们不苛求一份试题经反复测试之后, 每次的结果都绝对一致才可靠, 但几次结果不应相差太大。所以教育测试的目的是要衡量某种相对稳定的东西。有公式2. 信度的定义是基于真分数理论的。所谓真分数, 就是没有误差的值, 或者可以说, 真分数是一个人在某一次测验中的大量理论上是无限的相等形式中所得到的平均分数。但是在心理、教育及社会行为测量中,真分数是永远不可能得到的,是假设的,只在理论上存在。 测试信度是通过测试结果的相关性得出的,相关系数越大,信度也就越高。测试信度的相关系数通常介于0 - 1 之间。那么, 对语言测试而言,相关系数多少才可称为高信度? Lado (1961) 认为, “一份好的词汇、语法结构或阅读试卷信度通常在0. 9 - 0. 99 之间; 听力试题通常在0. 8 - 0. 89 之间; 口语考试大约在0. 7 - 0. 79 之间。0. 85 的相关系数对口语考试而言可能是个高信度, 而对于阅读测试却是低信度。”这虽是Lado 个人的看法,但从中不难看出, 一份试卷所测试的语言技能不同对测试信度评估的标准也就不同。目前外语界普遍使用的统计分析软件SPSS(Statistics Package for Social Sciences) 能很快完成测试结果相关性的计算过程。 第二节 信度的种类 信度的种类大致有二: 一是试题的信度 Test reliability ; 二是评分员信度 Scorer or rater reliability。试题信度顾名思义, 指试题本身可靠无误, 即同一份试题在不同的时间测试同一群学生,其结果应大体一致。试题信度受很多因素的影响,最主要的因素为试题选样的广泛性和有效性。一般说来, 试题选样越广越有效, 对学生知识和能力的测量就越可靠。正因如此, 一些测试专家倾向于使用客观性试题, 一份客观性试题能容纳很多分离式题目, 不赞成使用主观性试题, 因为它的题目数相当有限。 按照信度的获取方法 ,信度又可以分为重测信度、复本信度、折半信度、评分员信度等四种。 重复测试法是指用同一份试卷对同一批受试群施考两次, 两次之间有一段间隔时间,两次测试结果的相关系数就是该考试的信度(也称再测信度) 。重复测试法实际上是对受试者信度(examinee reliability) 的测