多模态输入对同传表现的影响.pdf

摘 要 同声传译本质上是⼀个多模态沟通现象。⼤量多模态信息的处理加剧了同传 的复杂性。在⼝译研究中，听觉输⼊⼀直以来占据统治地位，被认为是同传中最 主要的信息来源和输⼊。研究者对于听觉输⼊的许多相关变量，如语速，⼝⾳等， 都进⾏了深⼊⽽系统的研究。然⽽，视觉符号资源在⼝译研究中⼀直乏⼈问津， 直到近年来⼝译研究者才将⽬光转向⼝译中的视觉输⼊，包括⽂字，图⽚，讲话 ⼈的身体语⾔等等。这⽅⾯的研究⽅兴未艾，具有很⼤的研究潜⼒。 本论⽂聚焦于⼝译中的视觉⽂字输⼊，探究其对⼝译产品准确性和⼝译员⼯ 作效率的影响，以及其在同声传译中所扮演的⻆⾊。有⼀系列认知研究表明⼀致 的视听信息能提⾼沟通型任务的准确性，但是同时会延⻓任务处理时间，损害效 率，因为⼤脑⽆法完全同时处理视听信息, 所以额外的时间需⽤于处理视觉信 息。⽽效率对同声传译任务顺利完成来说⾄关重要。实验结果显示⼀致的视听信 息能提⾼同传产出的准确性，但并不会延⻓信息处理时间，降低译员的⼯作效率。 本⽂从两个理论⻆度来解释该实验结果：单⼀资源理论和多重资源理论。前者认 为所有认知任务都依赖于同⼀个认知资源池，同时竞争有限的认知资源；⽽后者 假定视觉和听觉任务分别依赖于不同的认知资源池，因⽽可以在同时处理视听信 息的情况下不造成认知过载。 关键词：视听输⼊，带⽂本同传，视听⼀致，精⼒模型 iii CONTENTS ACKNOWLEDGEMENTS i ABSTRACTii 摘 要iii CONTENTSiv LIST OF ABBREVIATIONSvii LIST OF TABLES viii LIST OF FIGURESix CHAPTER ONE 1 INTRODUCTION 1 1.1 Research Background 1 1.2 Rationale 3 1.3 Significance6 1.3.1 Theoretical Significance7 1.3.2 Practical Significance8 1.4 Research Obj ective and Questions9 1.4.1 Research Obj ective9 1.4.2 Research Questions 9 1.5 Methodology and Data Collection 10 1.6 Organization of the Thesis 10 CHAPTER TWO 12 LITERATURE REVIEW12 2.1 Multi-modalities 12 2.2 Visual Input in Interpreting 13 2.3 SI with Text 19 2.4 Cognitive Load Measurement27 iv 2.5 Interpreting Performance Assessment31 CHAPTER THREE 33 THEORETICAL FRAMEWORK33 3.1Working Definitions33 3.1.1Working Definition of Multi-modal Input33 3.1.2 Working Definition of Simultaneous Interpreting Performance 34 3.2 Theoretical Basis35 3.2.1Audiovisual Signal Redundancy 35 3.2.2 Effort Model 36 3.2.3 Single Resource Theor