第六章语料库.PDF

第六章 语料库 詹卫东 /doubtfire/ 提纲 1 什么是语料库 2 语料库的发展简史 3 语料库的设计 4 语料库的加工 5 语料库的应用 2 1 什么是语料库 在今天，仅仅将语料库视为存放语言材料的仓库， 是令人无法忍受的观点。新一代的兆亿级的大规 模语料库可以作为语言模型的训练和测试手段， 来评价一个语言模型的质量；此外，诸如困惑度 之类的统计方法也可利用语料库来评估一个语法 模型对语料的解释能力。 —— Geoffrey Leech, The State of The Art in Corpus Linguistics, 1991, In Aijmar, K. and Altenberg, B. , eds. , English Corpus Linguistics: Studies in Honor of Jan Svartvik, London: Longman, 1991. 3 关于语料库的三点基本认识 语料库中存放的是在语言的实际使用中真实出现过 的语言材料； 语料库是以电子计算机为载体承载语言知识的基础 资源； 真实语料需要经过加工（分析和处理），才能成为 有用的资源； 4 语料库的分类 口语语料 词性标注语料 书面语料 树库语料 共时语料 单语 … 历时语料 双语 多语 平行语料库 平衡语料 比较语料库 专门语料 监控语料 样本语料 5 语料库示例（一） 北京大学计算语言所富士通人民日报标注语料库样例： 历史/n 将/d 铭记/v 这个/r 坐标/n ：/w 北纬/b ４１．１/m 度/q 、/w 东经/b １１４．３/m 度/q ；/w 人们/n 将/d 铭 记/v 这/r 一/m 时刻/n ：/w １９９８年/t １月/t １０日/t １１时/t ５０分/t 。/w …… [中国/ns 政府/n]nt 顺利/ad 恢复/v 对/p 香港/ns 行使/v 主权 /n ，/w 并/c 按照/p “/w 一国两制/j ”/w 、/w “/w 港人治港 /l ”/w 、/w 高度/d 自治/v 的/u 方针/n 保持/v 香港/ns 的/u 繁荣/an 稳定/an 。/w