第5章--语言模型.ppt

第5章 语言模型;5.1 基本概念 5.2 参数估计 5.3 数据平滑 5.4 语言模型的自适应 5.5 语言模型应用举例 ;5.1 基本概念 5.2 参数估计 5.3 数据平滑 5.4 语言模型的自适应 5.5 语言模型应用举例 ; 5.1 基本概念 大规模语料库的出现为自然语言统计处 理方法的实现提供了可能，统计方法的成功 使用推动了语料库语言学的发展。 基于大规模语料库和统计方法，可以 － 发现语言使用的普遍规律 － 进行机器学习、自动获取语言知识 － 对未知语言现象进行推测; 5.1 基本概念 如何计算一段文字(句子)的概率？ 阳春三月春意盎然，少先队员脸上荡 漾着喜悦的笑容，鲜艳的红领巾在他们 的胸前迎风飘扬。 ? 以一段文字(句子)为单位统计相对频率？ ? 根据句子构成单位的概率计算联合概率? p(w1)×p(w2)×…×p(wn); 5.1 基本概念 语句 s = w1 w2 … wm 的先验概率 P(s) = P(w1)×P(w2|w1)×P(w3|w1w2)×… ×P(wm|w1…wm-1); 5.1 基本概念 说明： (1) wi 可以是字、词、短语或词类等等，称 为统计基元。通常以“词”代之。 (2) wi 的概率由 w1, …, wi-1 决定，由特定的 一组w1, …, wi-1 构成的一个序列，称为 wi 的历史（history）。; 5.1 基本概念 ;L;NLPR, CAS-IA;H2:; 5.1 基本概念 这种情况下的语言模型称为 n 元文法(n-gram)。 通常地， ?当 n=1 时，即出现在第 i 位上的基元 wi 独立于历 史，n-gram 被称为一阶马尔柯夫链(uni-gram 或 monogram) ?当 n=2 时, n-gram 被称为2阶马尔柯夫链(bi-gram) ?当 n=3 时, n-gram 被称为3阶马尔柯夫链(tri-gram); 5.1 基本概念 为了保证条件概率在 i=1 时有意义，同时为了 保证句子内所有字符串的概率和为 1，即 ? s p ( s ) ? 1 ，可以在句子首尾两端增加两个标志: BOS w1w2 … wm EOS。不失一般性，对于n2 的 n-gram，P(s) 可以分解为：; 5.1 基本概念 ? 举例： 给定句子：John read a book 增加标记：BOS John read a book EOS 2元文法的概率为： P(John read a book) = P(John|BOS)× P(read|John)×P(a|read)× P(book|a)×P(EOS|book); 5.1 基本概念 ?应用－1：音字转换问题 给定拼音串：ta shi yan jiu sheng wu de 可能的汉字串：踏实研究生物的 他实验救生物的 他使烟酒生物的 他是研究生物的 … …; 5.1 基本概念 ; 5.1 基本概念 CString = {踏实研究生物的, 他实验救生物的，他是 研究生物的, 他使烟酒生雾的,… …} 如果使用 2-gram： P(CString1) =P(踏实|BOS)×P(研究|踏实)× P(生物|研究)×P(的|生物)×P(EOS|的) P(CString2) =P(他|BOS)×P(实验|他)×P(救|实验)× P(生物|救)×P(的|生物)×P(EOS|的) ……; 5.1 基本概念 如果汉字的总数为：N ? 一元语法：1）样本空间为 N 2）只选择使用频率最高的汉字 ? 二元语法：1）样本空间为 2）效果比一元语法明显提高 ? 估计对汉字而言四元语法效果会好一些 ? 智能狂拼、微软拼音输入法基于 n-gram.; 5.1 基本概念 ?应用－2：汉语分词问题 给定汉字串：他是研究生物的。 可能的汉字串： 1) 他|是|研究生|物|的 2) 他|是|研究|生物|的; 5.1 基本概念 ; 5.1 基本概念 如果采用2元文法： P(Seg1) =P(他|BOS)×P(是|他)×P(研究生|是)× P(物|研究生)×P(的|物)×P(的|EOS) P(Seg2) = P(他|BOS)×P(是|他)×P(研究|是)× P(生物|研究)×P(的|生物)× P(的|EOS) 问题：如何获得 n 元语法模型？;5.1 基本概念 5.2 参数估计 5.3 数据平滑 5.4 语言模型的自适应 5.5 语言模型应用举例 ; 5.2 参数估计 ?两个重要概念： ? 训练语料(