2-4_第2章221_序列信息的熵.pptVIP

  1. 1、本文档共17页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
2-4_第2章221_序列信息的熵

第2章 信源熵 2.2 多符号离散平稳信源 2.2.1 序列信息的熵 2.2.2 离散平稳信源的数学模型 2.2.3 离散平稳信源的信息熵和极限熵 2.2.4 马尔可夫信源 2.2.5 信源冗余度和信息变差 离散无记忆信源 定义 离散无记忆信源 消息符号的自信息量 回顾消息与不确定度、不确定度与自信息量 由自信息量的函数形式可以看出: 信源中信息的度量与输出符号发生的概率有关 自信息量是先验概率 的单调减函数; 当 信息量的定义满足可加性,即满足泛函方程 自信息量与信息熵 自信息量I(xi)是指某一信源发出某一消息符号xi所含有的信息量,所发出的消息符号不同,它们含有的信息量就不同,故自信息量I(xi)是一个随机变量,不能用它来作为整个信源输出信息的信息测度。 引入平均自信息量,即信息熵来作为信源输出信息的测度。 信源熵 定义 信源熵 可见,信源熵是信源输出各消息自信息量的概率加权平均值,它是从平均意义上表征信源总体特征的一个量,是信源统计平均不确定性的描述。 离散无记忆信源熵-例题 离散无记忆信源的扩展信源 最简单的离散信源 单符号离散信源 N次扩展信源 离散无记忆二进制信源的扩展信源 离散无记忆信源的扩展信源 N次扩展信源的熵 最简单的离散信源 N次扩展信源 1. 离散无记忆二进制信源的二次扩展信源 如图,二次扩展信源的输出消息是符号序列,分组发出,每两个二进制符号构成一组。其数学模型为 二进制信源的N次扩展信源 2. 离散无记忆二进制信源的三次扩展信源 三次扩展信源X3=(X1X2X3)共输出nN个消息符号,其中n=2,N=3,即8个长为3的二进制系列符号,它等效为一个具有8个消息符号的新信源X。 离散无记忆信源的N次扩展信源 定义 设X是一个离散无记忆信源,其概率空间 其中n为信源符号个数,pi=P(X=xi) i=1,2,…n。则X的N次扩展信源XN是具有nN个消息符号的离散无记忆信源,其概率空间为 N次扩展信源的熵 N次扩展信源的熵(证明) N次扩展信源的熵 N次扩展信源的熵-例题 例 设有一离散无记忆信源X,其概率空间为 N次扩展信源的熵-例题(续) 小结 首先给出了离散信源和连续信源的数学模型,然后根据随机变量的取值以及随机变量统计特性分析了信源的分类。 讨论了离散无记忆信源的信源熵,说明它就是离散集合X的信息熵。在此基础上进一步介绍了离散无记忆信源的扩展信源。 从最简单的离散无记忆信源开始,介绍了N次扩展信源和N次扩展信源的熵。 * HUST -- Information and Coding Theory * * HUST Furong WANG--- Information and Coding Theory * * * HUST -- Information and Coding Theory -- Wang Fu rong * * * * 扩展信源 X=X1X2 二次扩展信源 1/16 1/16 1/8 1/16 1/16 1/8 1/8 1/8 1/4 概率p(ai) x3 x3 x3 x2 x3 x1 x2 x3 x2 x2 x2 x1 x1 x3 x1 x2 x1 x1 符号系列 a9 a8 a7 a6 a5 a4 a3 a2 a1 信源符号 * HUST -- Information and Coding Theory

文档评论(0)

tiangou + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档