信息论与编码 信源与信息熵2.ppt

信源与信息熵 第二章 2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源熵 2.4 连续信源的熵和互信息 2.5 冗余度 2.3 离散序列信源熵 前面讨论了单个消息（符号）的离散信源熵，并较详细地讨论了它的性质。然而实际信源的输出往往是空间或时间的离散随机序列，其中有无记忆的离散信源熵序列，当然更多的序列是有记忆的，即序列中的符号之间有相关性。此时需要用联合概率分布函数或条件概率分布函数来描述信源发出的符号间的关系。这里讨论离散无记忆序列信源和两类较简单的离散有记忆序列信源(平稳序列和齐次遍历马尔可夫链信源)。 2.3.1 离散无记忆信源的序列熵 发出单个符号的信源 指信源每次只发出一个符号代表一个消息； 发出符号序列的信源 指信源每次发出一组含二个以上符号的符号序列代表一个消息。 发出符号序列的信源 离散无记忆信源的序列熵 随机序列的概率为 离散无记忆信源的序列熵 信源的序列熵为 离散无记忆信源的序列熵 信源的序列熵 离散无记忆信源的序列熵 若又满足平稳特性,即与序号l无关时： 例:有一个无记忆信源随机变量X∈(0,1),等概率分布,若以单个符号出现为一事件,则此时的信源熵: 例:有一离散平稳无记忆信源 2.3.2 离散有记忆信源序列熵 对于有记忆信源,就不像无记忆信源那样简单,它必须引入条件熵的概念,而且只能在某些特殊情况下才能得到一些有价值的结论。 对于由两个符号组成的联合信源,有下列结论: 离散有记忆信源序列熵 信源的联合熵(即前后两个符号(X1,X2)同时发生的不确定度)等于信源发出前一个符号X1的信息熵加上前一个符号X1已知时信源发出下一个符号X2的条件熵。 对于一般的有记忆信源如文字、数据等，它们输出的不是单个或两个符号，而是由有限个符号组成的序列，这些输出符号之间存在着相互依存的关系。可依照上述结论来分析序列的熵值。 若信源输出一个L长序列,则信源的序列熵为 由 p(ai,aj) = p(ai) p(aj| ai) 计算得联合概率p(ai aj)如表 联合熵H(X1,X2)表示平均每二个信源符号所携带的信息量。 我们用1/2H(X1,X2)作为二维平稳信源X的信息熵的近似值。那么平均每一个信源符号携带的信息量近似为: 离散平稳信源 对于离散平稳信源,有下列结论： ⑴ 条件熵H (XL|XL-1) 随L的增加是非递增的 条件较多的熵必小于或等于条件较少的熵，而条件熵必小于或等于无条件熵。 ⑶ HL(X)是L的单调非增函数 HL(X)≤HL-1(X) ⑷ 马尔可夫信源的信息熵 马尔可夫信源 例2-13 三状态马尔可夫信源 冗余度 冗余度(多余度、剩余度) 表示信源在实际发出消息时所包含的多余信息。 冗余度： 信源符号间的相关性。 相关程度越大,信源的实际熵越小 信源符号分布的不均匀性。 等概率分布时信源熵最大。 冗余度 对于有记忆信源,极限熵为H∞(X)。 这就是说我们需要传送这一信源的信息,理论上只需要传送H∞(X)即可。但必须掌握信源全部概率统计特性,这显然是不现实的。 实际上,只能算出Hm(X)。那么与理论极限值相比,就要多传送Hm(X)－H∞(X)。 冗余度 由于信源存在冗余度,即存在一些不必要传送的信息,因此信源也就存在进一步压缩其信息率的可能性。 信源冗余度越大,其进一步压缩的潜力越大。这是信源编码与数据压缩的前提与理论基础。 在实际通信系统中，为了提高传输效率，往往需要把信源的大量冗余进行压缩，即所谓信源编码。但是考虑通信中的抗干扰问题，则需要信源具有一定的冗余度。因此在传输之前通常加入某些特殊的冗余度，即所谓信道编码，以达到通信系统中理想的传输有效性和可靠性。 冗余度 例：英文字母： 等概率 H0 = log27 = 4.76比特/符号 不等概率 H1 = 4.03比特/符号 考虑相关性 H2 = 3.32比特/符号 极限熵 H∞ =1.4比特/符号 冗余度 习题 2-26 2-30 本章小结 信源的描述 一个离散信源发出的各个符号消息的集合为： 马尔可夫信源 稳态分布概率 离散信源熵和互信息 问题： 什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？ 离散信源熵和互信息 问题： 什么叫后验概率？ 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵（或散布度）？ 数据处理定理是如何描述的？ 熵的性质有哪些？ 自信息量 设离散信源X，其概率空间为 自信息