信息论基础教程 教学课件 作者焦瑞莉 第二章 信源和熵.ppt

信息论基础教程 教学课件 作者焦瑞莉 第二章 信源和熵.ppt

  1. 1、本文档共77页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
则 连续信源的熵计算 连续信源的信息熵 连续信源的条件熵与联合熵 连续信源的互信息 连续信源的互信息 连续信源的互信息 连续信源的平均互信息 连续信源的I(X;Y):取值有限;为非负值。 例:设有二维高斯概率密度函数 —— 连续随机变量 X、Y 的均值 —— 连续随机变量 X、Y 的方差 —— 相关系数(归一化协方差) 求 I(X;Y) = ? 连续信源的平均互信息计算 连续信源的平均互信息计算 连续信源的平均互信息计算 连续信源的相对熵、 平均互信息的性质 定理2.8(峰值受限) 若随机变量X的取值被限定在区间[a,b],则X的相对熵 当且仅当X服从均匀分布时具有最大的相对熵。 (离散情形:等概) 证明:设随机变量X概率密度函数为q(x),有 又设均匀分布时概率密度函数为p(x),有 且 则需证 连续信源的最大相对熵 定理2.10(平均功率受限) 若给定连续型随机变量X的方差为,则X的相对熵 当且仅当X服从服从Gaussian分布时等号成立。 连续信源的最大相对熵 连续信源的最大相对熵 连续信源的最大相对熵 连续信源的熵功率 例:有一个连续信源,它发出的随机连续消息的概率密度函数 p(x)=1/2 ,1 ≤ x ≤ 3v ,求该信源消息的平均功率和熵功率。 熵功率物理意义:具有熵值 Hc(X) 的高斯随机变量的功率。 连续信源的熵功率 第二章 小结 两个概念 自信息与互信息 两种信源 离散信源与连续信源 * * * 注意大小写代表的不同含义;任何概率分布要满足完备性;灵活应用关系式;计算结果要与概念符合 * * 注意大小写代表的不同含义;任何概率分布要满足完备性;灵活应用关系式;计算结果要与概念符合 * 注意大小写代表的不同含义;任何概率分布要满足完备性;灵活应用关系式;计算结果要与概念符合 I(X;Y)与信息熵的关系 I ( X ; Y ) = 0 H ( X ) H (Y ) H ( XY ) 集合X与集合Y 相互独立的情况 I(X;Y)与信息熵的关系 H ( XY ) H ( X|Y ) H (Y|X ) H ( X ) H (Y ) H ( X|Y ) —— 含糊度或损失熵 H ( Y|X ) —— 散布度或噪声熵 I(X;Y)与信息熵的关系 H ( X ) = H (Y ) = I ( X ; Y ) H ( XY ) 集合X与集合Y 完全相关的情况 I(X;Y)与信息熵的关系 H(X|Y) I(X;Y) 的凸函数性 I(X;Y) 的凸函数性 I(X;Y) 的凸函数性 当 p(y|x) 给定时,I(X;Y) = f [p(x)] 是上凸函数。 当 p(x) 给定时,I(X;Y) = f [p(y|x)] 是下凸函数。 C — 信道容量 R(D) —率失真函数 小结 互信息量 —— 信息论中的另一个基本概念(差值) —— 对两个随机变量之间统计依存性的信息度量 —— 用来描述信道特性和信源的压缩特性 信息熵 —— 信息论中的最基础的基本概念 —— 对随机变量不确定性的最好的度量 —— 用来描述信源的信息特性 信息不增性原理(定理2.4) 信道Ⅰ p(y|x) 信道Ⅱ p(z|xy) X Y Z 当且仅当p(z|xy)= p(z|y)时,等号成立。 信息不增性原理(定理2.5) 信道Ⅰ p(y|x) 信道Ⅱ p(z|y) X Y Z 当且仅当Y和Z是一一对应关系时,等号成立。 平稳离散信源 (1)平稳离散信源的概念 (2)平稳离散信源的熵 (3)信源的冗余度与信息速率 信源的符号序列统计特性与时间的起点无关 平稳离散信源的熵 随机矢量的熵(联合熵) 极限熵(熵率) 平均符号熵 定理2.6 设 证明:极限的存在性 为单调有界序列。 有记忆平稳离散信源的熵 我们有 则 又 得 定理说明: 随机变量之间的依赖性在某种程度上降低了信源的不确定性,即使信源(符号)携带的信息量减少。 当考虑依赖关系无限长时,平均符号熵和条件熵都是非递增地一致趋于平稳信源的极限熵。 无记忆平稳离散信源的熵 无记忆平稳离散信源:信源输出为平稳独立的随机序列 又各分量分布相同 无记忆平稳离散信源的熵 无记忆平稳离散信源的熵 随机矢量的熵(联合熵) 极限熵 平均符号熵 信源的冗余度与信息速率 对于离散平稳信源 理论上:实际的熵为 —— 即信源所能输 出的信息量——需要传递 的手段。

您可能关注的文档

文档评论(0)

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档