《中文分词.pptVIP

中文分词Chinese Word Segmentation 苏州大学计算机科学与技术学院 分词 英文最基本的书写单位 字母 中文最基本的书写单位 字 英文最基本的有意义单位 单词 中文基本有确切意义的单位 词组 英文单词之间有空格 中文词组之间无空格 中文分词的定义 分词就是将连续的字串或字符序列按照一定的规范重新组合成词序列的过程 中文分词就是把中文的序列切分成有意义的词 添加合适的显性的词语边界标志使得所形成的词串反映句子的本意，这个过程就是通常所说的分词 分词意义与应用 意义重大 是基于语义信息处理的必要基础 信息检索、信息过滤、信息抽取、信息分类、文本语音合成等等都要以分词为基础 应用 同音字、多音字识别 文本校对 抛妻别字 —— 抛妻别子 （字音编码输入） 于预 —— 干预 （字形编码输入） 简繁转换 後面，皇后 —— 后 松树，鬆开 —— 松 中文分词歧义 白痴造句法 难过 我家门前的小河很难过 白痴 小白痴痴地在门前等小黑回来 如果 汽水不如果汁好喝 本来 拿书本来打头会很痛 歧义例子 这个学生会打蓝球 这个/学生/会/打/篮球 这个/学生会/打/篮球 你认为学生会听老师的吗 你/认为/学生会/听/老师/的/吗 你/认为/学生/会/听/老师/的/吗 南京市长江大桥 南京市/长江大桥 南京/市长/江大桥 歧义例子续 当结合成分子时 当/结合/成分/子时 当/结合/成/分子/时 当/结/合成/分子/时 当/结/合成分/子时 中文分词歧义分类 交集型歧义 如果AB和BC都是词典中的词，那么如果待切分字串中包含“ABC”这个子串，就必然会造成两种可能的切分：“AB/ C/ ” 和 “A/ BC/ ”。 比如“网球场”就可能造成交集型歧义（网球/ 场/ : 网/ 球场/）。 组合型歧义 如果AB和A、B都是词典中的词，那么如果待切分字串中包含“AB”这个子串，就必然会造成两种可能的切分：“AB/ ” 和“A/ B/ ”。 比如个人就可能造成组合型歧义（ （我） 个人/ : （三） 个/ 人/ ）。 “真歧义”和“伪歧义” 真歧义指存在两种或两种以上的可实现的切分形式， “必须/加强/企业/中/国有/资产/的/管理/” “中国/有/能力/解决/香港/问题/” “中国有”是一种真歧义 伪歧义一般只有一种正确的切分形式， “建设/有”、 “中国/人民”、 “各/地方”、 “本/地区” 主要的分词方法 简单的模式匹配 正向最大匹配 逆向最大匹配法 双向匹配法 基于规则的方法： 最少分词算法 基于统计的方法： 统计语言模型分词 串频统计和词形匹配相结合的汉语自动分词 无词典分词 机械匹配 正向最大匹配 Forward Maximum Matching method, FMM 错误切分率为1／169 对交叉歧义和组合歧义没有什么好的解决办法 逆向最大匹配 Backward Maximum Matching method, BMM 错误切分率为1／245 双向匹配法 Bi-direction Matching method, BM 可以识别出分词中的交叉歧义 逆向最大分词 逆向分词算法与正向分词算法类似 逆向分词算法的精度略高于正向最大分词 汉语的修饰在前 他说的确实在理 他/说/的确/实在/理 他/说/的/确实/在理 双向匹配 最短路径算法 最少分词问题 等价于在有向图中有哪些信誉好的足球投注网站最短路径问题 基于统计的最短路径分词算法 基本的最短路径每条边的边长为1 当最短路径有多条时，往往只保留一条结果 对其它符合要求的路径不公平 这里考虑每个词的权重，即每条边的边长不相等 最简单的权重是词频（必须真实、科学有效） 高频词 权重大 低频词 权重小 这样分词结果更加合理 最大概率法分词 基本思想是： （1）一个待切分的汉字串可能包含多种分词结果 （2）将其中概率最大的那个作为该字串的分词结果 最大概率法分词 S: 有意见分歧 W1: 有/ 意见/ 分歧/ W2: 有意/ 见/ 分歧/ 最大概率法分词 提高计算效率 提高计算效率（续） 左邻词假定对字串从左到右进行扫描，可以得到 , , … , , , … 等若干候选词，如果 的尾字跟 的首字邻接，就称 为 的左邻词。比如上面例中，候选词“有”就是候选词“意见”的左邻词，“意见”和“见”都是“分歧”的左邻词。字串最左边的词没有左邻词。 最佳左邻词如果某个候选词 有若干个左邻词 , , … 等等，其中累计概率最大的候选词称为 的最佳左邻词。比如候选词“意见”只有一