[理学]信息论复习提纲.ppt

  1. 1、本文档共34页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
[理学]信息论复习提纲

信息理论总复习 信息学院电子工程系 王琳;单符号离散信源 自信息量 用概率测度定义信息量 设离散信源 X,其概率空间为 如果知道事件 xi 已发生,则该事件所含有的自信息定义为 当事件 xi 发生以前:表示事件 xi 发生的不确定性。 当事件 xi 发生以后:表示事件 xi 所含有(或所提供)的信息量;平均信息量—信源熵:自信息的数学期望。也称为信源的信息熵/信源熵/香农熵/无条件熵/熵函数/熵。 信息熵的意义:信源的信息熵 H 是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源,其信息熵只有一个。不同的信源因统计特性不同,其熵也不同。 信源熵的三种物理含义 信源熵 H(X) 是表示信源输出后每个消息/符号所提供的平均信息量; 信源熵 H(X) 是表示信源输出前,信源的平均不确定性; 用信源熵 H(X) 来表征变量 X 的随机性。;最大离散熵定理 (极值性) :离散无记忆信源输出 q 个不同的信息符号,当且仅当各个符号出现概率相等时 (即p(xi)=1/q),熵最大。 H[p(x1),p(x2),…,p(xn) ]≤H(1/q,1/q,…,1/q)=log2q 出现任何符号的可能性相等时,不确定性最大。;二进制信源的熵函数 H(p) 为;离散无记忆信源的扩展 离散无记忆信源 X 的 N 次扩展信源的熵等于离散信源X 的熵的 N 倍,即 H(X)=H(XN)=NH(X) 离散平稳信源:各维联合概率均与时间起点无关的完全平稳信源称为离散平稳信源。二维离散平稳信源的熵为;平均符号熵:信源平均每发一个符号提供的信息量为 离散平稳有记忆信源的极限熵:当 N→∞ 时,平均符号熵取极限值称之为极限熵或极限信息量。用 H∞表示,即 极限熵的存在性:当离散有记忆信源是平稳信源时,极限熵等于关联长度 N→∞时,条件熵H(XN/X1X2…XN-1)的极限值,即 极限熵的含义:代表了一般离散平稳有记忆信源平均每发一个符号提供的信息量。;马尔科夫信源 定义 状态转换图(香农线图) 状态极限概率 平稳、齐次马尔科夫信源熵 信源熵的相对率η :η= H∞/H0 信源冗余度ξ: ξ=1-η=(H0-H∞)/H0 信源的冗余度表示信源可压缩的程度。 ;连续信源的差熵为 上式定义的熵在形式上???离散信源相似,也满足离散熵的主要特性,如可加性,但在概念上与离散熵有差异因为它失去了离散熵的部分含义和性质。 具有最大熵的连续信源(两种情况);连续信源熵有关问题说明 连续信源熵并不是实际信源输出的绝对熵; 连续信源的绝对熵还有一项正的无限大量,虽然 log2(b-a) 小于0,但两项相加还是正值,且一般还是一个无限大量。因为连续信源的可能取值数有无限多,若假定等概率,确知其输出值后所得信息量也将为无限大; Hc(X) 已不能代表信源的平均不确定度,也不能代表连续信源输出的信息量。 连续信源熵的意义 这种定义可以与离散信源在形式上统一起来; 在实际问题中常常讨论的是熵之间的差值问题,如信息变差、平均互信息等。在讨论熵差时,两个无限大量互相抵消。所以熵差具有信息的特征; 连续信源的熵 Hc(X) 具有相对性,因此 Hc(X) 也称为相对熵。;信道疑义度—H(X/Y):表示信宿在收到 Y 后,信源 X 仍然存在的不确定度。是通过有噪信道传输后引起的信息量的损失,故也可称为损失熵。 噪声熵—H(Y/X):表示在已知 X 的条件下,对于符号集 Y 尚存在的不确定性(疑义),这完全是由于信道中噪声引起的。 联合熵 H(XY):表示输入随机变量 X,经信道传输到达信宿,输出随机变量 Y。即收、发双方通信后,整个系统仍然存在的不确定度。;平均互信息量定义:互信息量 I(xi;yj) 在联合概率空间 P(XY) 中的统计平均值。 从一个事件获得另一个事件的平均互信息需要消除不确定度,一旦消除了不确定度,就获得了信息。;站在输出端:I(X;Y)—收到 Y 前、后关于 X 的不确定度减少的量。从 Y 获得的关于 X 的平均信息量。 站在输入端:I(Y;X) —发出 X 前、后关于 Y 的先验不确定度减少的量。 站在总体:I(X;Y) —通信前、后整个系统不确定度减少量。;;BSC信道的平均互信息量 设二进制对称信道的输入概率空间为 转移概率如图2.1.8所示。 ; 平均互信息量 当 q 不变 (固定信道特性) 时,可得 I(X;Y) 随输入概率分布 p 变化的曲线,如图2.1.9所示;二进制对称信道特性固定后,输入呈等概率分布时,平均而言在接收端可获得最大信息量。;当固定信源特性 p 时,I(X;Y) 就是信道特性 q 的函数,如图2

您可能关注的文档

文档评论(0)

qiwqpu54 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档