语料库的研究课件幻灯片.ppt

201309111459 0109 201309111459 国家语委语料库 现代汉语通用平衡语料库 8800万字语料 4500万字标注语料库(词语切分词类标注) 句法树库 国家语委语料库的管理由国家语委授权语言文字应用研究所负责 0109 201309111459 国家语委语料库建设 ?1991年12月国家语委语言文字应用管理司提出立项建议 1992年4月国家语委语言文字应用管理司在京组织召开了现代汉语语料库选材原则专家论证会 1993年1月制订《现代汉语语料库选材原则》 1993年9月召开了现代汉语语料库选材专家审定会 2001年底建成 7000万字的生语料库 2003年底已完成4500万字语料的词语切分和词性标注加工 0109 201309111459 现代汉语语料库的主要用途及选材规模 主要用途 语言文字的信息处理 语言文字规范和标准的制定 语言文字的学术研究 语文教育 语言文字的社会应用 选材规模 规模较大的通用语料库，其选材字数拟定在5000万字左右，包括抽样材料和整篇材料。教材字数另计。 0109 201309111459 选材的分类 依据材料内容，选材大体作如下分类： 教材 大中小学教材单作一类，约2000万字。不计入5000万字的语料之内。 人文与社会科学的语言材料，包括： 政法（含哲学、政治、宗教、法律等）； 历史（含民族等） 社会（含社会学、心理、语言、教育、文艺理论、新闻学、民俗学等）； 0109 201309111459 经济； 艺术（含音乐、美术、舞蹈、戏剧等）； 文学（含口语）； 军体； 生活（含衣食住行等方面的普及读物）。 自然科学（含农业、医学、工程与技术） 报刊 应用文 0109 201309111459 3．选材年限及密度 教材类 选取现在通用的教材为建库的语言材料。中小学课本所选内容涉及各个学科的基本知识，一般为典范的现代汉语作品，具有相当的普及性、代表性。 人文与社会科学类 以1919年为上限，选取五四以来的语言材料。对五四以来各个历史时期的语料采取不等密度选用的方式。 0109 201309111459 1919——1925年 鉴于五四时期的白话文仍留有文言痕迹，拟选用少量的对后世影响较大的代表性作品。被选用的作品在行文上要尽量符合现代汉语的规范。这部分语料拟占人文与社会科学类的5%。 1926——1949年 白话文逐步脱离文言痕迹，现代汉语日趋成熟的时期。这部分语料拟占人文与社会科学类的15%。 1950——1965年 中华人民共和国的成立给社会文化生活带来巨大变化，新词新语大量涌现。这部分语料拟占人文与社会科学类的25%。 1966——1976年 文化大革命时期产生的作品，其中许多随着文革的结束而仅作为历史词语存于现代汉语之中。这部分语料拟占人文与社会科学类的5%。 1977—— 新时期的语料代表了现代汉语的必威体育精装版发展。这部分语料拟占人文与社会科学类的50%。 0109 201309111459 自然科学（含农业、医学、工程与技术）类 目前比较通用的中、小学各科教材。 目前比较通用的具有通论性质的大学各科基础必修课程的教材。 涉及自然科学各个门类的科普读物。 0109 201309111459 现代汉语语料库选材字数的分布 人文与社会科学的语言材料占全部5000万字语料的60%，为3000万字。这3000万字在各个学科的分布见表一。 文学的语言材料占人文与社会科学类的50%，共1500万字。这1500万字在不同体裁、题材的语料的分布见表二。 长、中、短篇小说的选取比例大致为： 长：中：短=1：2：3 0109 201309111459 语料的通用性原则和描述性原则 语料的通用性原则 作为通用型语料库，现代汉语语料库应真实地反映现代汉语在文字、词汇、语法、语义等方面的全貌。 现代汉语语料库在语料的选择上，应当具有区别性特征。 有别于专业性。 有别于地域性。 有别于纯口语性。 为确保5000万字语料的质量，尽可能地提高所选语料在采字、采词、采句和采义等方面的涵盖量，选材不仅要考虑到语料的时间层次、文化层次和社会使用面层次，还应采取“抓住中心，其他补充”的方式。 时间层次。 文化层次。以具有高中文化程度的人能够阅读的语料为主，其他文化程度为辅。 社会使用面层次。以社会使用面较为广泛的语料为主，其他语料为辅进行补充；以人文与社会科学为主，自然科学为辅；以门类为主，以语体为辅，对门类进行补充。 0109 201309111459 语料的描述性原则 从现代汉语语料库建设的主要用途出发，语料应在必要的人工干预的前提下，做描述性选取，以便为语言文字的规范与科研提供客观的科学依据。 为了保证现代汉语的字、词、句、义在语料中具有合理的出现频率，语料的选择应在控制比