信度与效度测量在大学英语测试中应用.docVIP

信度与效度测量在大学英语测试中的应用 　　摘 要：信度和效度是评估语言测试最为关键的两个质量指标, 但两者在本质上又是相互冲突的。尝试论证在一定的约束条件下，为了使某一特定测试的总效用达到最大化，我们能够找到效度和信度之间最佳的平衡关系，由此而为大学英语测试的改革实践提供一些参考性建议。? 　　关键词：英语测试；效度；信度? 　　中图分类号：G64文献标识码：A文章编号：1672-3198（2008）06-0269-02?? 　　 　　1 引言? 　　 　　据全国大学英语四、六级考试委员会与英国文化委员会的合作研究结果认为：CET4和CET6(简称)是一项信度极高的考试，每次考试客观题的内部信度都达0.9以上;效度相当高，回收问卷中有92%的教师认为CET能反映学生的实际英语水平。笔者以为这里所指的信度和效度的界定很模糊，就某次具体的测试而言，信度和效度是受特定条件限制的，不可能是绝对的。迄今为止，我国的高考、研究生入学考试、公共英语等级考试(PET)，包括CET等大规模英语测试还是以客观性题型为主，主观题只占10%或20%左右。就评分方法而言，因客观性试题答案的唯一性，可用机器阅卷，从而保证了测试结果的客观性和一致性，无疑具有相对较高的信度，但不足之处就是效度难以保证。同时大量采用主观性、直接性试题的测试在阅卷信度上也令人怀疑。这样的困惑总是或多或少存地在于考试的开发、设计和评估过程中。? 　　我们能否使信度和效度同时最大化呢？信度和效度又应如何整合而达到适当的(appropriate)平衡？Bachman和Palmer在其测试理论中认为可设置“可接受的最低程度”(minimumacceptablelevel)的效度或信度等质量指标从而使得语言测试的“效用性”(usefulness)原则中各特征之间达到适度平衡。由于测试总是在一定的价值判断、测试目标、社会环境等约束条件下进行的，本文尝试探索在可行性条件下，测试的总效用(overallusefulness)最大化时效度和信度之间可能存在的关系。? 　　 　　2 效度和信度的基本概念及特点? 　　 　　如果我们想阐释一次特定的考试成绩是否正确反映了学生的语言能力，那么在设计和使用测试时，信度和效度是我们首要关注的特征。Bachman把信度定义为“测试的一致性”(consistencyofmeasurement)。简言之，就是测试结果的可信度、可靠度。例如，我们可以这样来检验测试的信度：使用同样一份试卷，在两种不同的场合、环境中，在较短的时间间隔内，施与同样的学生，如果测试结果基本吻合，那么证明该测试是有信度的。一份试卷的测试结果如果缺乏信度，就没有使用价值，同时也减弱了考试的公正性。当然，要完全消除不一致性(inconsistency)也是不可能的，我们能做的是尽量把影响不一致性的不利因素控制在最低程度，以便于提高测试信度。? 　　信度所涉及的问题是个体测试成绩在多大程度上是由测试误差或其它因素所影响的。效度所关注的问题是个体测试成绩在多大程度上和个体语言能力相关。因而，我们研究信度的目的是使测试误差造成的影响最小化，研究效度旨在使我们想要检测的语言能力的效果最大化，它们是两个相互补充的目标。一项测试若没有信度，也就无所谓效度。信度是效度的前提或必要条件。权衡信度和效度，效度是首要的。然而Underhill和Heaton指出信度和效度特征在本质上是互相冲突的。测试效度较高的试题有时测试信度较低。反之，测试信度较高的试题有时测试效度较低。Morrow也认为想把测试任务设计得既具有可信性又具有真实性不可能的。Hughes却说虽然测试的各种特征相互排斥，但是这并不意味着我们可以完全放弃这些特征。? 　　 　　3 对信度和效度在理论上能达到适当平衡的可行性研究? 　　 　　评价英语测试最重要的原则是总效用性(overallusefulness)。Bachman和Palmer(1996:18)把某一特定测试的“总效用性”看作是由六个因素构成的，即效用性(Usefulness)=信度(Reliability)+构想效度(Constructvalidity)+真实性(Authenticity)+互动性(Interactiveness)+冲击力(Impact)+适用性(Practicality)。这里需要说明的是：Bachman和Palmer之所以把“构想效度”作为“效用性”六大特征之一，是因为构想效度(上节已提到)关系到我们根据测试成绩所作的解释的意义性和适切性。前五者均与测试成绩的使用有关，而“适用性”与测试的方法有关，能够在很大程度上决定测试的可行性。评价一次考试是否有效用需要综合考察这些因素，在它们之间寻求最佳的平衡点，而这一平衡能否实现取决于适用性