- 1、本文档共111页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
第12章 信息理论方法及其应用 第12章 信息理论方法及其应用 本章主要内容: 1. 信源熵的估计 2. 最大熵原理 3. 最小交叉熵原理 4. 信息理论方法的应用 5. 小结和思考题 本章主要介绍信源熵估计、最大熵原理和 最小交叉熵原理及其部分应用。 §12.1 信源熵的估计 本节主要内容: 1.离散信源序列熵的估计 2.连续信源熵的估计 熵估计 参数估计 给定一个信源概率密度的参数模型,首先从可能的密度函数空间中有哪些信誉好的足球投注网站最可能的密度函数,其次计算最可能密度函数所对应的熵。 熵估计(续) 非参数估计 (1)标准的最大似然或“插入”法,就是先估计信源符号的概率或概率密度,然后再将估计的概率代入熵的计算公式中来计算熵; (2)对于离散信源,可以利用无损信源压缩编码算法进行熵估计,通常使用通用压缩编码; (3)利用其他熵估计算法。 12.1.1 离散信源序列熵的估计 插入熵估计 通用信源压缩编码熵估计 模板匹配熵估计 插入熵估计(一) ——离散无记忆信源熵估计 设一个离散无记忆信源具有未知的概率分布 , 其中,符号集 , 为信源的熵,现用给定信源序列 作为训练序列,对信源熵进行插入法估计。 首先利用训练序列估计信源符号的概率,表示为 其中n为训练样本数,通常估计值依赖与样本数。符号的概率采用下式估计: 其中 , 成为经验分布 插入熵估计(一) ——离散无记忆信源熵估计 可以证明 是 的最大似然估计,且是无偏的,即 将概率的估计值代入信源熵的的公式,得信源熵的估计值: 虽然概率的估计是无偏的,但熵的估计却不是无偏的。根据熵的上凸性有 可见,用插入估计得到的熵值的平均要比实际熵值低,是实际熵的欠估计。所以在进行熵估计时,要做适当的修正,以保证熵的估计具有较小的偏差。 插入熵估计(一) ——离散无记忆信源熵估计 Miller等(1954年)提出,修正后的熵按下式计算 其中, 为估计的信源符号集的大小,n为训练样本数,这里熵的单位是奈特。 还有一种偏差修正法,称为jackknife法,是统计学中对估计器的偏差和方差进行估计的有效方法,这种方法特别用于标准方法难于应用的场合。熵估计的公式为 其中, 表示用样本 进行插入估计所得的熵。 例12.1.1 一个二元离散无记忆信源,符号0和1的概率分别为1/4和3/4,长度为32的训练序列为1 1 1 0 0 0 1 1 1 1 1 1 1 1 1 0 1 0 1 1 1 1 1 0 1 1 1 0 1 1 1 1; (1)求信源熵的最大似然插入估计; (2)利用Miller修正法估计信源熵; (3)利用jackknife修正法估计信源熵。 解: 信源熵 比特 (1)信源符号概率的ML估计为: , ; 信源熵的最大似然插入估计为 比特; 插入熵估计(一) ——离散无记忆信源熵估计 (2)利用Miller修正估计信源熵为 比特; (3) 比特 比特 利用jackknife修正估计信源熵为 比特 插入熵估计(二) ——一阶马氏链熵估计 插入熵估计(二) ——一阶马氏链熵估计 插入熵估计(二) ——一阶马氏链熵估计 插入熵估计(三) ——N次扩展源(Ngram)的熵估计 (12.1.17) 其中, 为序列中状态 的个数 N次扩展源的熵估计为
您可能关注的文档
- Photoshop图像编辑与处理 教学课件 作者 沈洪 朱军 等 8.1 图像色调调整 8.1.4 特殊色调调整.ppt
- Photoshop图像编辑与处理 教学课件 作者 沈洪 朱军 等 8.2 图像色彩调整 8.2 图像色彩调整目录.ppt
- Photoshop图像编辑与处理 教学课件 作者 沈洪 朱军 等 8.2 图像色彩调整 8.2.1 色彩平衡.ppt
- 信息检索与实践 教学课件 作者 贺霞 凌征强 司马敬敏 第6章 特种文献.ppt
- Photoshop图像编辑与处理 教学课件 作者 沈洪 朱军 等 8.2 图像色彩调整 8.2.2 亮度对比度.ppt
- Photoshop图像编辑与处理 教学课件 作者 沈洪 朱军 等 8.2 图像色彩调整 8.2.3 自然饱和度.ppt
- Photoshop图像编辑与处理 教学课件 作者 沈洪 朱军 等 8.2 图像色彩调整 8.2.4 色相饱和度.ppt
- Photoshop图像编辑与处理 教学课件 作者 沈洪 朱军 等 8.2 图像色彩调整 8.2.5 去色.ppt
- Photoshop图像编辑与处理 教学课件 作者 沈洪 朱军 等 8.2 图像色彩调整 8.2.6 黑白.ppt
- Photoshop图像编辑与处理 教学课件 作者 沈洪 朱军 等 8.2 图像色彩调整 8.2.7 替换颜色.ppt
文档评论(0)