英译汉测试评估中的评分员差异研究.pfg.pdf

摘 要 行为测试中，评分员需要根据所提供的评分量表对考生的书面或口 头语言进行评估。因此，作为行为测试中的一个重要变量，评分员势必 会对考生的成绩产生影响。评分员之间的潜在差异在当前的行为测试中 引起了广泛关注。尽管在过去的十年当中，人们对于主观性评估进行了 大量的研究，然而对于翻译测试评估中的评分员差异却是知之甚少。该 研究旨在发现具有相同背景的有经验的评分员在单句英译汉和语篇英译 汉两种翻译任务评估中的个体差异。 这一研究对于当前的语言测试实践具有重要意义。首先，这一研究 不仅可以弥补国内翻译评估研究领域的空白，更可以带动该领域内相关 研究的发展。第二，该研究可以帮助我们更好地解释测试成绩的意义。 通过对评分员评分过程中所做口头报告及回顾性书面报告进行分析，测 试成绩的解释问题可以得到更好的理解。此外，该研究的结果对于评分 员训练以及评分量表的改进都具有重要意义。 该研究中的主要研究问题为：在单句英译汉和语篇英译汉两种翻译 任务的评估中，有经验的评分员在他们的评分行为上有何差异?为了充 分而深入地对上述主要研究问题进行研究，我们提出了以下四个副研究 问题： (1)评分员在单句英译汉评分上是否存在差异? (2)评分员在语篇英译汉评分上是否存在差异? (3)对于同一译文，评分员的定性判断是否相同? XII (4)评分员在两种翻译任务的评估中各自关注了哪些因素，他们是 如何关注这些因素的? 本研究所采用的十份单句英译汉翻译样本取自2004年在中国山西省 赛区内的一次全国大学生英语竞赛。另外的十份语篇英译汉翻译样本取 自太原科技大学英语专业学生的一次限时课堂翻译测试。六位具有评分 经验的评分员在经过训练之后，对两组翻译试卷(其中一组为十份单句 英译汉，一组为十份语篇英译汉)进行了评分。在每一份试卷的评分过 程中，要求评分员对自己的详细评分过程进行口头报告，并在每一份试 卷评完之后，立刻对评分过程进行回顾性的书面报告。最后对评分员的 口头报告进行编码以便对于评分员在评分过程中所关注的因素、如何关 注这些因素以及评分员对考生在各个评估范畴的表现的阐释做出分析。 对考生成绩的频率分析和单向方差分析结果表明评分员在下列评分 范畴中存在评分上的显著性差异：单句英译汉中的“表达”、语篇英译汉 中的“忠实”和“通顺”。作者继而对反映评分员决策过程的口头报告和 书面报告进行分析，以期发现隐藏在评分员分数差异背后的原因，并能 更好地了解评分员在评分过程中的差异。分析结果表明，评分员在评分 上的显著差异很大程度上在于他们对同一译文有着明显不同的观点。进 一步的分析表明，在两种翻译任务的评估中，评分员的决策过程存在明 显差异。在单旬英译汉和语篇英译汉中，尽管评分员在评分中关注的因 素是相同的，然而在如何关注这些因素上却存在显著差异。具体来说， 在单句英译汉的评估中，评分员会关注下列17种因素：对源语篇的理解、 误译、漏译、不相关信息的添加、胡译、词汇选择、汉语表达规范、表 达的流畅性、风格的得体性、任务的完成情况、错误类型、错误严重性、 错误频率、书写、拼写错误、评分员情感反映、与其它试卷的比较。根 据评分员的口头报告，除上述17种因素外，在语篇翻译中，还有另外7 种因素影响评分员的决策。它们是：语言是否晦涩、句法结构、断句、 句子之间的连贯性、语言是否有文采、语言的简洁性以及总体的交际效 果。由于评分员在评分过程中对这些因素的关注主要体现在两个方面： 即确定试卷中的问题以及问题的严重程度，因此，对于评分员在评分中 如何关注这些因素这一研究问题主要从这两个方面去阐释。分析结果表 明在单旬英译汉评估中，评分员对于问题的锁定几近相同，然而对锁定 的问题却有着不同的阐释。在语篇英译汉的评估中，评分员在确定问题 以及判断问题的严重程度上均存在重大差异。这一重大差异暗示了对翻 译成绩做出解释绝非易事。 以上研究结果在测试成绩解释、评分员训练、评分量表的作用以及设 计几个方面均有重要的启示。 关键词：英汉单句翻译；英汉语篇翻译；翻译评估；有声思维报告；评 分员差异；分析性评分量表 Differencesof Ratersin Rating