第七篇词汇分析（一）找出字符串中的词.ppt

第七章 词汇分析（一） —— 找出字符串中的“词” 詹卫东 /doubtfire/ 提纲 1 从字符串到词串 从字符串到词串（续） 张店区大学生不看重大城市的户口本 张店区 大学生 不 看 重大 城市 的 户口本 张店区 大学生 不 看重 大 城市 的 户口本 你认为学生会听老师的吗 你 认为 学生会 听 老师 的 吗 你 认为 学生 会 听 老师 的 吗 我家门前的小河很难过 …… 从字符串到词串（续） 2 英语的词汇处理 Tokenization：把字符串变为词串I’m a student - I ’m a student Lemmatization：对词进行内部结构和形式分析 took - take + ed (past tense) 2.1 Tokenization 1）数字：123,456.781 90.7% 3/8 11/20/2000 2）缩略（包含不同的情况）： a. 字母－点号－字母－点号组成的序列，比如：U.S. i.e. 等等； b. 字母开头，最后以点号结束，比如：A. b. Mr. eds. prof. ； 3）包含非字母字符，比如：ATT Micro$oft 4）带杠的词串，比如：three-years-old，one-third，so-called 5）带瞥号的词串，比如：Im cant dogs lets 6）带空格的词串，比如：and so on，ad hoc a. 识别分数，日期的正则表达式：[ 0-9 ] + (/ [ 0-9 ] + ) + e.g. 12/21 5/13/2002 b. 识别百分数的正则表达式：[ \+ | \ -] ? [ 0-9]+ . ? [ 0-9 ] * % e.g. - 5.9% 91% c. 识别十进制数字的正则表达式：( [ 0-9 ] + , ? ) + (. [ 0-9 ] + | [ 0-9 ] + ) * e.g. 12,345 数字的识别（有限状态转移网络） （1）对一个待分析的字符串（S），从左到右进行扫描，读入当前字符（char）到候选词数组（W[ i ]），并将指针（pointer）前移，i=i+1； （2）看char是否为词分隔符（事先可以预定义空格以及一般标点均为词分隔符）； （3）如果char是词分隔符，并且W不是空格，将W中从起始位置到i-1位置的字符作为一个词汇单位输出，同时将S中的W部分删去，然后清空W，转入（1），如果char是词分隔符，且W是空格，将S中的W部分删去，清空W，转入（1）； （4）如果不是词分隔符，看指针是否已经指到字符流尾部； （5）如果指针已经指到字符流尾部，将当前W从起始位置到i-1位置的字符作为一个词汇单位输出，结束。 （6）如果不是字符流尾部，转入（1）； Tokenization示例 2.2 Lemmatization 英语构词模式：{前缀}＋ {词根} ＋ {后缀} ＋ [词尾] 构词示例 boys（复数词尾） happiness（名词后缀） impossible（前缀） strongest（形容词最高级词尾） housewarmings（复合词＋复数词尾） 构词分析需要的知识库 Lemmatization算法的一般过程 Lemmatization示例 待分析的词形 W=“boys” , d= 4, i=1, R=“” W不在词典中，从W中取出1个尾字符， “boy” + “s” W2=“s”，W1’=“boy” 输出：“boy” + “s” Lemmatization容易碰到的问题 不规则词形变化：child － children 歧义问题：1）是词缀 还是 词根中的字符，有时不易判断 比如：分析副词词尾“ly”的规则： （1）将串尾字符“y”去掉； （2）如果剩下的字符串以“ll”结尾，将“ll”变为“le” wholly ? whol ? whole fully ? ful ? fule only，inform，…… 2）不同的词根原形，相同的词形变化 best - good / well? Lemmatization要做到何种程度 词干层。如：impossibilities?impossibility+ies 词根层。如：impossibilities?im+poss+ibil+it+ies 分析程度取决于自然语言处理系统的深度： 不解决未定