运用软件ELAN标注和分析口语诗《广岛》中多种模态.docVIP

运用软件ELAN标注和分析口语诗《广岛》中多种模态 　　20 世纪 90 年代末,以荷兰阿姆斯特丹大学传媒研究学者 Forcevill 为首的西方学者把隐喻研究深入到多模态层面,结合符号学、语言学、电影学与传媒学理论,从广告中图片隐喻的视觉模态开始,到口语交际、教学、音乐、影视作品中对视觉、听觉模态的探讨,开创了多模态隐喻研究的先河。从社会符号学角度来说,口头语言符号、手势、音韵特征等各种模态都具有表达意义的潜势,各种模态往往交织在一起,互动而产生意义。那么不同模态之间是否存在耦合现象(coupling) ,即“两个或两个以上的体系或两种运动形式间通过各种相互作用而彼此影响以至联合起来的现象”,各种模态相互依赖、相互影响、相互促进以构建起统一的多模态隐喻的意义,就是本研究要探讨的问题。 　　一、多模态隐喻界定及其研究文献综述 　　Forceville 把模态定义为“利用具体的感知过程来阐释的符号系统”,包括视觉、听觉、嗅觉、味觉和触觉五种模态,在具体的语类研究中通常把模态分为图像符号、书面符号、口头符号、手势、声音、音乐、气味、味道和接触九类。Forceville 认为,单模态隐喻就是“目标域和源域用单一模态来呈现的隐喻”,多模态隐喻即“目标域和源域分别用 或主要用不同的模态来呈现的隐喻”。 　　单独由文字呈现的隐喻如“我们的祖国是花园”为单模态隐喻,而除了文字外,加上图片或声音、音乐等其他模态的呈现方式,这个隐喻就变成了多模态隐喻。 　　多模态隐喻的界定涉及源域与目标域的不同模态,操作起来比较复杂,因本研究语类为口语诗,涉及的模态为口头言语、体态和音韵特征,故采用 Cienki Müller关于口语中对单模态隐喻和多模态隐喻的界定,其中单模态隐喻指言语隐喻或手势隐喻,多模态隐喻即手势-言语隐喻(verbo-gestural metaphor) ,这里考察口头言语、手势和音韵特征三种模态。 　　手势隐喻参照 McNeill的分类和 Cienki Müller的方法,即用手势表示抽象所指或用具体所指手势表达特定的语用功能的手势即隐喻手势; 言语隐喻采用Pragglejaz Group的隐喻辨认程序(Metaphor Identification Procedure)来进行编码,即特定语境中一个词汇单元的意义与其更基本的实体意义不同,而且该语境意义得依靠与其更基本的实体意义相比较来理解,那么该词汇单元即为言语隐喻。 　　国外关于多模态隐喻的研究正开展得有声有色,研究成果涉及广告、政治讽刺画、漫画、口语、音乐和影视作品等各种语类,研究议题包括多模态隐喻的识别和解读、多模态隐喻的语类性特征、多模态隐喻的区别性特征、隐喻的体验基础与文化基础、隐喻和转喻的动态构建过程、多模态隐喻的表征方式等。 　　国内关于多模态隐喻的研究始于最近两年赵秀凤、谢竞贤等对国外多模态隐喻研究成果的介绍,张辉 展伟伟、冯德正 邢春燕等学者对多模态隐喻动态构建和表征方式的探讨,以及王凤对多模态隐喻的语言哲学研究基础的探讨等。其中江桂英 李恒探讨了划拳中的手势隐喻、李恒等阐释了演讲中的隐喻手势,而目前还少有对多模态隐喻中不同模态之间的分工与合作的研究。然而手势、韵律特征等模态对隐喻表达的影响很大,理应受到重视。言语、手势和音韵特征之间的互动是否有主次之分,是否彼此互补,是否加强或削弱其他模态提供的信息,都值得研究和探讨。本文基于Lakoff Johnson的概念隐喻理论,采用多模态分析软件 ELAN 对口语诗《广岛》中多种模态进行标注和分析,探讨各种模态在多模态隐喻意义构建中的耦合现象。 　　二、口语诗《广岛》中多模态隐喻的赋码方案 　　本研究采用美国诗人 Sarah Kay 在 2011年 TED 演讲中的口语诗作为语料,因为 SarahKay 是口语诗表演的代表人物之一,受到无数美国青年的喜爱和追随,其口语诗《广岛》具有相当广泛的影响力,深受观众的喜爱。 　　本研究采用 ELAN 软件对 Sarah Kay 口语诗“广岛”进行分割、转写和标注。ELAN(EUDICO Linguistic Annotator) 是由荷兰马普心理语言学研究所开发的一个跨平台(Win-dows、Mac OS、Linux) 的多模态话语分析软件,广泛运用于态势语研究、话语分析和口语语料库建设等方面。ELAN 可以通过对视频、音频文件的多层级同步标注来分析说话者的话语内容、面部表情、体态手势、语音语调等。 　　ELAN 视频播放能精确到 0. 01 秒,便于对视频和音频进行时间段的分割和标记、精确定位和循环播放; 根据时间标签,可以实现标注与图像、声音、文本精确同步进行、即点即播;允许用户根据研究需要自行设定层级数量和顺序,自行编订标注编码表; 标注与标注之间可以横纵向对比,方便