统计自然语言处理基本概念.pptVIP

统计自然语言处理基本概念 模型 模型由体系结构和参数两部分构成 举例：住宅楼 多层板楼 高层板楼 高层塔楼 参数 层数： 户型：三室一厅，两室一厅，…… 举架高度： 供热方式：地热？暖气片？ 目录 样本空间(Sample Space) 估计器(Estimator)和随机过程(Stochastic Process) 信息论(Information Theory) 数据集分类(Data Set Classification) 性能评价(Performance Measure) 样本空间(Sample Space) 试验(Experiment) 试验 一个可观察结果的人工或自然的过程，其产生的结果可能不止一个，且不能事先确定会产生什么结果 例如 连掷两次硬币 样本空间 是一个试验的全部可能出现的结果的集合 举例 连掷两次硬币 ?={HH, HT, TH, TT}, H:面朝上; T:面朝下 事件(Event) 事件 一个试验的一些可能结果的集合，是样本空间的一个子集 举例：连掷两次硬币 A: 至少一次面朝上 B: 第二次面朝下 A={HT, TH, HH}, B={HT, TT} 事件的概率 事件的概率 重复m试验，如果事件A出现的次数为n，则事件A的概率为P(A)=n/m，这称为概率的频率解释，或称统计解释 频率的稳定性又称为经验大数定理 举例：连掷两次硬币 A: 至少一次面朝上 B: 第二次面朝下 P(A)=3/4, P(B)=1/2 当试验不能重复时，概率失去其频率解释的含义，此时概率还有其他解释：贝叶斯学派和信念学派 一个人出生时的体重，一个人只能出生一次 举例 举例：连续三次掷硬币 样本空间 ?={HHH,HHT,HTH,HTT,THH,THT,TTH,TTT} 事件A：恰好两次面朝下 A={HTT,THT,TTH} 做1000次试验，计数得386次为两次面朝下 估计：P(A)=386/1000=0.386 继续做7组试验，得：373，399，382，355，372，406，359，共8组试验 计算平均值：P(A)=(0.386+0.373+…)/8=0.379，或累计：P(A)=(386+373+…)/8000=3032/8000=0.379 统一的分布假设为：3/8=0.375 概率空间 概率空间的三个公理 P(A)?0 P(?)=1 P(A?B)=P(A)+P(B) if A?B=? 这三条公理也是概率的原始定义 推论： P(?)=0; A ? B?P(A)P(B); P(ā)=1-P(A) 不是所有0和1之间的值都是概率 例如：|cos(x)|就不是概率 概率空间图示 联合事件 A和B两个事件的联合概率就是A和B两个事件同时出现的概率 A和B的联合概率表示为：P(A, B)或P(A ?B) 举例：连掷两次硬币 事件A：第一次面朝上，A={HH,HT} 事件B：第二次面朝下，B={HT,TT} 联合事件A ?B={HT} 条件概率 在事件B发生的条件下事件A发生的概率 P(A|B)=P(A,B)/P(B) P(A|B)=(c(A,B)/T)/(c(B)/T)=c(A,B)/c(B) c(A)代表事件A出现的次数，c(B)同理 T是试验总次数 举例：两次掷硬币问题 事件A：第一次面朝上，A={HH,HT} 事件B：第二次面朝下，B={HT,TT} A ?B={HT} P(A|B)=1/2 条件概率可以被视为从另外一个样本空间产生 概率的乘法原理 P(A,B)=P(A|B)?P(B)=P(B|A)?P(A) Chain Rule P(A1,A2,…,An)=P(A1)?P(A2|A1)?P(A3|A1,A2) ? …?P(An|A1,A2,…,An) 举例1：词性标注 P(det,adj,n)=P(det)?P(adj|det)?P(n|det,adj) 举例2：计算一个句子的概率 p(w1,w2,…,wn)=p(w1)p(w2|w1)……p(wn|w1…wn-1) 独立和条件独立 独立 定义：P(A,B)=P(A)?P(B)?P(A|B)=P(A), P(B|A)=P(B) 条件独立 定义：P(A,B|C)=P(A|B,C)?P(B|C)=P(A|C)?P(B|C) ?P(A|B,C)=P(A|C), P(B|A,C)=P(B|C) Na?ve Baiysian：假定各特征之间条件独立 P(A1,A2,…,An|B)=?i=1,…,nP(Ai|B) 避免一个错误：P(A|B,C)=P(A|B)? P(A|C) 独立和条件独立 独立不意味着条件独立 举例：色盲和血缘关系 A：甲是色盲 B：乙是色盲 C：甲和乙有血缘关系 P(A,B)=P(A)?P(B) P(A,B|C) ? P(A|C)?P(