信息论与编码课件第二章4.ppt

信源与信息熵 第二章 2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度 离散信源的分类 发出单个符号的信源 指信源每次只发出一个符号代表一个消息； 发出符号序列的信源 指信源每次发出一组含二个以上符号的符号序列代表一个消息。 发出符号序列的信源 2.3.1离散无记忆信源的序列熵 随机序列的概率为 离散无记忆信源的序列熵 信源的序列熵（即平均每个序列共同包含的信息） 离散无记忆信源的序列熵 若又满足平稳特性,即与序号l无关时，概率变为： 例:有一个无记忆信源随机变量X∈(0,1),等概率分布,若以单个符号出现为一事件,则此时的信源熵: 例:有一离散平稳无记忆信源 2.3.2离散有记忆信源的序列熵 对于有记忆信源,就不像无记忆信源那样简单,它必须引入条件熵的概念,而且只能在某些特殊情况下才能得到一些有价值的结论。 对于由两个符号组成的联合信源,有下列结论: 若信源输出一个L长序列,则信源的序列熵为 由 p(ai,aj) = p(ai) p(aj| ai) 计算得联合概率p(ai aj)如表 联合熵H(X1,X2)表示平均每二个信源符号所携带的信息量。恰为本题中的序列熵(因为为二元序列） 我们用1/2H(X1,X2)作为二维平稳信源X的信息熵的近似值。那么平均每一个信源符号携带的信息量近似为: 离散平稳信源 对于离散平稳信源,有下列结论： ⑴ 条件熵H (XL|XL-1) 随L的增加是非递增的 条件较多的熵必小于或等于条件较少的熵，而条件熵必小于或等于无条件熵。 ⑶ HL(X)是L的单调非增函数 HL(X)≤HL-1(X) ⑷ 马尔可夫信源的信息熵 马尔可夫信源的极限熵 例三状态马尔可夫信源 冗余度 冗余度(多余度、剩余度) 表示信源在实际发出消息时所包含的多余信息。 冗余度： 信源符号间的相关性。 相关程度越大,信源的熵越小 信源符号分布的不均匀性。 等概率分布时即均匀分布时信源熵最大。 冗余度 对于有记忆信源，平均符号熵（信息熵）为极限熵H∞(X)。 这就是说我们需要传送这一信源的信息,理论上只需要传送H∞(X)即可。但必须掌握信源全部概率统计特性,这显然是不现实的。 实际上,只能算出Hm(X)。那么与理论极限值相比,就要多传送Hm(X)－H∞(X)。 冗余度 由于信源存在冗余度,即存在一些不必要传送的信息,因此信源也就存在进一步压缩其信息率的可能性。 信源冗余度越大,其进一步压缩的潜力越大。这是信源编码与数据压缩的前提与理论基础。 例：英文字母： 等概率 H0 = log27 = 4.76比特/符号 不等概率 H1 = 4.03比特/符号 考虑相关性 H2 = 3.32比特/符号 极限熵 H∞ =1.4比特/符号 （1）以等概率传输，则冗余度为： （1）以不等概率传输，则冗余度为： 习题 2-13 2-16 2-26 2-30 本章小结 信源的描述 一个离散信源发出的各个符号消息的集合为： 马尔可夫信源 稳态状态概率分布 离散信源熵和互信息 问题： 什么叫不确定度？ 什么叫自信息量？ 什么叫条件信息量 什么叫联合信息量 什么叫平均不确定度？ 什么叫平均自信息量？ 什么叫信源熵？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和信源熵的关系是什么？ 离散信源熵和互信息 问题： 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵（或散布度）？ 数据处理定理是如何描述的？ 熵的性质有哪些？ 序列熵，平均符号熵 极限熵，马尔可夫信源平均符号熵 自信息量 设离散信源X，其概率空间为 自信息量 自信息量 离散信源熵 离散信源熵H(X) 信源熵 信源熵 互信息 平均互信息 维拉图 收发两端的熵关系 马尔可夫信源的信息熵 I (xi) 含义: 当事件xi发生以前,表示事件xi 发生的不确定性 当事件xi发生以后,表示事件xi所含有的信息量 条件自信息量 联合自信息量 信源熵具有以下三种物理含意： 信息熵H(X)表示信源输出后,每个离散消息所提供的平均信息量。 信息熵H(X)表示信源输出前,信源的平均不确定性。 信源包含的信息量 。 条件熵 联合熵 互信息 定义为 xi的后验概率与先验概率比值的对数 互信息I(xi;yj)表示接收到某消息yj后获得的关于事件xi的信息量。 平均互信息定义 信宿获得的信源信息= 先验不确定性－后验不确定性= 不确定性减少的量 Y未知,X 的不确定度为H(X) Y已知,X 的不确定度变为H(X |Y) * * 内容 2