第3讲——条件熵、联合熵及熵的性质.ppt

  1. 1、本文档共35页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
第3讲——条件熵、联合熵及熵的性质资料

信源及其信息熵 得联合概率: p(x0y0) = p(x0) p(y0 |x0) = 2/3×3/4 = 1/2 p(x0y1) = p(x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/3×1/4 = 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(y1 |x1) = 1/3×1/2=1/6 p(x1y2) = p(x1) p(y2 |x1) = 1/3×1/2=1/6 联合熵H(XY) H(XY)=H(X)+H(Y|X)=1.8bit/符号 同理 p(x0 |y1)=0 ; p(x1 |y1)=1 p(x0 |y2)=1/2; p(x1 |y2)=1/2 对称性 可加性 例:有一个无记忆信源随机变量X∈(0,1),等概率分布,若以单个符号出现为一事件,则此时的信源熵: 例:有一离散平稳无记忆信源 由 p(ai,aj) = p(ai) p(aj| ai) 计算得联合概率p(ai aj)如表 H(X1,X2)表示平均每二个信源符号所携带的信息量, 那么平均每一个信源符号携带的信息量近似为: 对于有记忆信源,就不像无记忆信源那样简单,它必须引入条件熵的概念,而且只能在某些特殊情况下才能得到一些有价值的结论。 对于由两个符号组成的联合信源,有下列结论: 若信源输出一个L长序列,则信源的序列熵为 (1)条件熵H (XL|XL-1) 随L的增加非递增 当前后符号无依存关系时,有下列推论: 离散有记忆信源的序列熵 平均符号熵为: 极限熵: 离散有记忆信源的序列熵 离散有记忆信源特点 (3)平均符号熵HL(X)随L的增加非递增 H0(X)≥H1(X)≥H2(X)≥…≥H∞(X) (2)L给定时, H L(X)≥H (XL|XL-1) (4) * * 第二章 2.1.3 条件熵及联合熵 条件熵是在联合符号集合XY上的条件自信息量的数学期望。 在已知随机变量Y的条件下,随机变量X的条件熵定义为: 要用联合概率加权 条件熵是一个确定值,表示信宿在收到Y后,信源X仍然存在的不确定度。这是传输失真所造成的。有时称H(X/Y)为信道疑义度,也称损失熵。称条件熵H(Y/X)为噪声熵。 条件熵 联合离散符号集合XY上的每个元素对 的联合自信息量的数学期望。 联合熵 熵、条件熵、联合熵关系 一个二进信源X发出符号集{0,1},经过离散无记忆信道传输,信道输出用Y表示.由于信道中存在噪声,接收端除收到0和1的符号外,还有不确定符号“2” 已知X的先验概率: p(x0)=2/3, p(x1)= 1/3, 符号转移概率: p(y0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2, X Y 0 1 0 1 2 3/4 1/2 1/2 1/4 信源熵H(X) 例题 由 例题 条件熵H(Y|X) 得 p(y0) =∑ p(xiy0) = p(x0y0) +p(x1y0) =1/2+0 = 1/2 p(y1) =∑ p(xiy1) = p(x0y1) +p(x1y1) = 0+1/6 =1/6 p(y2) =∑ p(xiy2) = p(x0y2) +p(x1y2) = 1/6+1/6=1/3 由 例题 信源输出熵H(Y) 由 得 条件熵H(X|Y) 例题 或 H(X|Y)= H(XY)-H(Y)=1.8-1047=0.33bit/符号 2.1.4 熵的基本性质 熵的基本性质 概率矢量 非负性 非负性 H(X)≥0 由于0≤pk≤1, 所以logpk≤0,-logpk≥0, 则总有H(X)≥0。 根据加法交换律可以证明,当变量交换顺序时熵函数的值不变, 即信源的熵只与概率空间的总体结构有关,而与各概率分量对应的状态顺序无关。 对称性 确定性 当信源X的信源空间[X,P]中,任一概率分量等于1,根据完备空间特性,其它概率分量必为0,这时信源为一个确知信源,其熵为0。 确定性 这说明信源空间中增加某些概率很小的符号,虽然当发出这些符号时,提供很大的信息量,但由于其概率接近于0,在信源熵中占极小的比重, ,使信源熵保持不变。 扩展

文档评论(0)

jiayou10 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

版权声明书
用户编号:8133070117000003

1亿VIP精品文档

相关文档