自然语言理解-的词法分析.ppt

中文姓名识别方法 中文姓名识别方法 姓名库匹配，以姓作为触发信息，寻找潜在的名字 计算潜在姓名的概率估值及相应姓氏的姓名阀值，根据姓名概率评价函数和修饰规则对潜在的姓名进行筛选。 中文姓名识别方法 中文姓名识别方法 中文姓名识别方法 中国地名的识别 困难 地名数量大，缺乏明确、规范的定义。《中华人民共和国地名录》（1994）收集88026个，不包括相当一部分街道、胡同、村庄等小地方名称。 真实语料中地名出现情况复杂。如地名简称、地名用词与其它普通词冲突、地名是其它专用名词的一部分，地名长度不一等。 机构名的内部构成规律 机构名的内部构成规律 机构名一般都是定中结构。 机构名的后缀一般比较集中，识别相对容易。 机构名左边界识别非常困难。 机构名中含有大量的人名、地名、企业字号等专有名称。在这些专有名称中，地名所占的比例最大，其中未登录地名又占了相当一部分的比例。所以机构名识别应在人名、地名等其他专名识别之后进行，其他专名识别的正确率对机构名识别正确率有较大影响。 机构名的内部构成规律 中文机构名用词非常广泛。通过对人民日报1998年1月中的10817个机构名所含的19986个词进行统计，共计27种词，其中名词最多（9941个），地名其次（5023个），以下依次为简称（1169个）、专有名词（1125个）、动词（848个）以及机构名（714个）等 机构名长度极其不固定 机构名很不稳定。随着社会发展，新机构不断涌现，旧机构不断被淘汰、改组或更名。 中文机构名称的识别 中文机构名称的类型 地名，如：北京大学，武汉大学 人名，如：中山大学，哈佛大学 学科、专业、部门系统，如：公安部，教育委员会 研究、生产或经营等活动的对象，如：软件研究所，卫星制造厂 上述情况的综合，如：白求恩医科大学 机构名称识别方法 找到一机构称呼词 根据相应规则往前逐个检查名词作为修饰名词的合法性，直到发现非法词。 如果所接受的修饰词同机构称呼词构成一个合法的机构名称，则记录该机构名称。 统计模型 识别未登录词的策略 尽可能多地收集词汇，以降低碰到未登录词的机会； 2) 通过构词规则和上下文特征规则来识别； “雪村先生创作了很多歌曲” 3) 通过统计的方法来猜测经过一般的分词过程后剩下的 连续单字词碎片是人名、地名等的可能性，从而识别 出未登录词。 * University of Science and Technology of China 中国科技大学计算机学院 * 词法分析 刘贵全 gqliu@ustc.edu.cn 词法分析 汉语分词 分词算法 汉语自动分词的困难 词性标注 未登录词的识别 汉语分词 1、从字符串中识别出词(word segmentation) “分”词—— “合”词 ?? 2、分词的基本方法 最大匹配法(Maximum Match based approach) 概率方法(Probability approach to Word Segmentation) 最大匹配法 长词优先原则 最大匹配法分词示例 S1=“计算语言学课程是三个学时 设定最大词长 MaxLen = 5 S2= 词语 … 计算语言学 课程 学时 … 分词词表 最大匹配法分词示例(续) （1）S2=；S1不为空，从S1左边取出候选子串W=计算语言学； （2）查词表，“计算语言学”在词表中，将W加入到S2中，S2=“计算语言学/ ”，并将W从S1中去掉，此时S1=“课程是三个学时； （3）S1不为空，于是从S1左边取出候选子串W=课程是三个； （4）查词表，W不在词表中，将W最右边一个字去掉，得到W=课程是三； （5）查词表，W不在词表中，将W最右边一个字去掉，得到W=课程是； （6）查词表，W不在词表中，将W最右边一个字去掉，得到W=课程 （7）查词表，W在词表中，将W加入到S2中，S2=“计算语言学/ 课程/ ”，并将W从S1中去掉，此时S1=“是三个学时； 最大匹配法分词示例(续) （8）S1不为空，于是从S1左边取出候选子串W=是三个学时； （9）查词表，W不在词表中，将W最右边一个字去掉，得到W=是三个课； （10）查词表，W不在词表中，将W最右边一个字去掉，得到W=是三个； （11）查词表，W不在词表中，将W最右边一个字去掉，得到W=是三 （12）查词表，W不在词表中，将W最右边一个字去掉，得到W=“是”，这时W是单字，将W加入到S2中，S2=“计算语言学/ 课程/ 是/ ”，并将 W从S1中去掉，此时S1=三个学时； （13）S1不为空，从S1左边取出候选子串W=三个学时； （14）查词表，W不在词表中，将W最右边一个