基干语料库语言服务平台建设.doc

基干语料库语言服务平台建设 　　摘 要 随着信息化和大数据的发展，基于真实语境的语料库在语言服务平台建设方面起着越来越重要的作用。本文计划以上海交大外国语学院的外语学科为依托，以自主研发大规模英汉平行语料库和专用语料库为基础，建设一个集语言学习、测试、翻译于一体的综合性语言服务平台 关键词 语料库 真实语境 语言服务 中图分类号：H030 文献标识码：A DOI：10.16400/j.cnki.kjdks.2016.11.069 Abstract With the development of information technology and big data， corpus which is based on real context plays an increasingly important role in the construction of language service platform. This paper planned to construct an integrated language service platform， including a set of language learning， testing and translation， which is based on the disciplines of School of Foreign Languages in Shanghai Jiao Tong University， and also the large-scale parallel corpus and dedicated Corpus developed dependently. Keywords corpus； real context； language service 上海交大外??语学院目前正在自主研发4000万字词大规模英汉平行语料库和法律、医学、航空等专用语料库，在此基础上，计划建设一个集语言学习、测试、翻译于一体的综合性语言服务平台。其特点是依据的语料真实，可信度高，功能多样 该平台主要分为三个部分，第一部分是自主语言学习模块，第二部分语言水平测试模块，第三部分是语言翻译模块。其中，每一部分都包括通用语言服务和行业专用语言服务两大功能，可以满足不同用户多样化的语言需求 1建设基于语料库的语言服务平台的背景和必要性 语言学中，语料库通常指为语言研究收集的、用电子形式保存的语言材料，由自然出现的书面语或口语的样本汇集而成，用来代表特定的语言或语言变体，可用于机助翻译、双语词典编撰、外语教学、语言测试等应用领 1.1 国内基于语料库的语言服务行业现状与分布 上世纪八十年代以来，随着语言处理技术的不断革新，跨文化交流活动的日益频繁，国内外语言产业获得快速发展，产业形态日益多样化，由原先的语言翻译和语言教育服务等业态扩大到语言处理、语言能力提升和品牌名牌命名及品牌文化评估等业态，产业总值呈几何级数增加 目前，语言服务创新资源主要集中于北京、上海和广州等地。北京和上海均有一定数量的高校和研究机构从事语料库建设与研究，较有影响力的有北京大学计算机系、北京外国语大学中国外语教育研究中心和上海交通大学外国语学院 1.2 语言产业中语料库的应用现状与需求分析 国内语言服务需求具体表现为以下趋势：外语培训和语言翻译服务发展势头猛；语言处理产业落后，各种语言支持服务的技术产业发展缓慢；品牌命名产业和针对功能性语言障碍的语言能力提升服务尚未启动；汉语言文字的现代信息化处理技术仍有较大上升空间，汉语国际化的产业化水平低。根据以上分析，本项目主要集中于机助翻译技术、语言教学与能力测试几个方面： （1）机助翻译技术。基于规则的机助翻译使用句法规则作为句式转换的基础，而常规的统计机助翻译利用网络语料对翻译引擎进行训练，利用双语语料库进行句对齐、词对齐，利用单语语料库构建转换规则。目前的趋势是将人工翻译的高质量语料利用统计机助翻译系统进行训练，再利用机助翻译的结果进行译后编辑，以提高翻译效率，这已经成为部分跨国企业的常规实践 （2）语言教学与测试。语料库语言学在语言教学和语言测试中具有非常重要的作用。它可以帮助教师和学生了解语言中的典型现象，如词汇量、词汇频率、搭配、习语、语义韵、难度、文体特征、翻译对应词等，许多过去全凭老师个人直觉的东西如今可以通过快速处理大规模数据得到验证，从而使教材编纂和教学大纲更加客观科学，也使语言教学更加高效 2 语言服务平台建设的内容 2.1 语言服务平台的主要内容 本项目主要依托上海交大外国语学院的外语学科，以自主研发的4000万字词大规模英汉平行语料库和法律、医学、