语言模型幻灯片.ppt

避免零概率：数据平滑 p’(w) ≈p(w), 但p’(w)≠0 对一些p(w)0,生成p’(w)p(w) 分配D给所有概率为0的w: p’(w)p(w)=0 可能对于概率值较低的词也作调整 可能有些w: p’(w)=p(w) 务必确保 有许多数据平滑的方法 折扣discounting 回退Back-off 如果n-gram的值为零，则用n-1 gram来计算 平滑Smoothing 将MLE方法与其它方向相混合，保证没有0概率的值 加1平滑 最简单，但不是真的能用 T:训练数据,V:词表,w: 词 预测 p’(w|h)=(c(h,w)+1)/(c(h)+|V|) 特别:非条件分布时p’(w)=(c(w)+1)/(|T|+|V|) 问题：经常会|V|c(h)，甚至|V|c(h) 举例：T: swhat is it what is small? |T|=8 V={what,is,it,small,?,s,flying,birds,are,a,bird,.}, |V|=12 p(it)=0.125, p(what)=0.25, p(.)=0, p(what is it?)=0.252*0.1252≈0.001 p(it is flying.)=0.125*0.25*02=0 p’(it)=0.1, p’(what)=0.15,p’(.)=0.05, p’(what is it?)=0.152*0.12 ≈0.0002 p’(it is flying.)=0.1*0.15*0.052 ≈0.00004 Trigram they,do,approach 1 they,do,have 2 they,do,Link 1 they,do,not 7 they,do,on 3 they,do,open 1 they,do,so 1 they,do,under 5 Bigram do,anything 2 do,approach 1 do,no 1 do,not 97 do,Novell 1 do,offer 1 ... they,do 22 Unigram do 384 ... C(they,do,not) C(do,not) = 7 = 97 PMLE(not|they,do) PMLE(not|do) = 7/22 = 0.318 = 97/384 = 0.253 PMLE(offer|they,do) = 0/22 = 0 PMLE(have|they,do) = 2/22 = 0.091 举例 Add one举例 P+1(not|they,do) P+1(offer|they,do) P+1(have|they,do) Vocabulary Size (V) = 10,543 小于1平滑 加入λ系数 -T:训练数据,V:词表,w: 词 预测 p’(w|h)=(c(h,w)+λ)/(c(h)+ λ |V|), λ1 特别:非条件分布时p’(w)=(c(w)+ λ)/(|T|+ λ |V|) 举例：T: swhat is it what is small? |T|=8 V={what,is,it,small,?,s,flying,birds,are,a,bird,.}, |V|=12 p(it)=0.125, p(what)=0.25, p(.)=0, p(what is it?)=0.252 *0.1252≈ 0.001 p(it is flying.)=0.125*0.25*02=0 取 λ=0.1 p’(it)=0.12, p’(what)=0.23,p’(.)=0.01, p’(what is it?)=0.232*0.122 ≈0.0007 p’(it is flying.)=0.12*0.23*0.012 ≈0.000003 Good-Turing 适用于评估大规模的数据 相似点： pr(w)=(c(w)+1)*N(c(w)+1)/(|T|*N(c(w))), 其中：N(c)是数目为c的词的数量 特别：对于训练集中没有出现的词，c(w)=0 pr(w)=N(1)/(|T|*N(0)) 有利于数量少的词语（5-10, 但N(c)较大） “调富济贫” 归一化（可以得到 ） Good-Turing: 举例 例如：记住： pr(w)=(c(