信息论基础 教学课件 作者 田宝玉 杨洁 贺志强 王晓湘 chapter5.ppt

信息论基础 教学课件 作者 田宝玉 杨洁 贺志强 王晓湘 chapter5.ppt

  1. 1、本文档共100页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
第五章 无失真信源编码 --北京邮电大学 信息工程学院 证: 我们先证明(5. 2. 3)式。 设信源符号集 为 , 各符号出现的概率分别为 , 为长度为 的序列, 为 中符号 出现的次数。 将信源序列按下列原则分成两 : 、 ,其中, : (5. 2.4) : 其它} 根据大数定律,当序列足够长时,信源符号 出现的次数接近 。因此, 中的序列的符号出 现的次数符合大数定律,称典型序列。 从(5. 2. 4)中可以看出, 随 的不同而改变。 设 ,则对于 中的信源符号 ,有 或 ,其中 由于信源是无记忆的,所以 的概率为 = , 的自信息负值为: 所以 选择 ,使得 (5. 2. 5) 则式(5. 2. 3)成立。 下面证明定理的后半部分。设 , 根据(5. 2. 3)式,有 (5. 2.6) 因为信源是无记忆的,所以 , 得到 (5. 2. 7) 将(5. 2. 7)代入(5. 2. 6),得 (5. 2. 8) 令 , 可得 , 所以 根据Chebyshev不等式: ,其中 为随机变量;这样就得到: (5. 2. 9) 其中 , , 所以, (5. 2. 10) 其中,自信息的方差 (5. 2. 11) 取 ,则当 , (1)证明不等式前半部 (2)证明不等式后半部 得到 平均码长 为平稳分布的概率, 为在 每一个状态编 码的平均码长 信源的熵 比特 编码效率 如果利用平稳分布编码结果为: 用状态编码比利用平稳分布编码效率高。 把信源的 N个符号合并成一个新符号再编码,会使编码效率提高。游程编码可使一阶马氏链的游程序列变为独立序列。 编码序列的特性 R的最大限制: 编码符号独立且编码符号等概率 无失真信源编码所采取的主要措施 (1)概率匹配(Huffman编码等)使编码符号等概率 (2)解除相关性,使信源变成无记忆 无失真信源编码的限制 典型序列个数估计 ,若

您可能关注的文档

文档评论(0)

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档