信息论与编码第2章信源熵.ppt

熵功率： 推广到N维，假定各随机分量统计独立 且各随机分量平均功率限定值为P，均值都是0，熵功率都是 ，则信息变差为： §2.1 单符号离散信源 §2.3 连续信源 §2.2 多符号离散信源 §2.4 离散信源无失真编码定理 为什么要进行信源编码 信源的两个重要问题 信源输出的信息量计算问题； 如何更有效地表示信源输出的问题。 为什么要进行信源编码 人们都希望无失真传送，首先要对信源无差错编码； 数字技术应用越来越多，模拟信源通过数字化变成数字信号传送。 (2) 信源编码的理论依据?? 设无记忆离散信源的信源空间为 它的熵为 假如将它进行K重扩展而得到K重符号序列，用矢量表示为 则这样的符号序列有 个。 ??当K的值很大时，根据大数定律，这个序列会以很高的概率出现以下情况：符号 约重复出现 ，符号 约重复出现 …，符号 约重复出现 次。 ?? 这意味着当K足够大时，将会以趋向于1的概率出现以下情况：扩展后的很多序列都具有相同的组成，因此也具有相同的概率。也就是说，当K足够大时，扩展后有相当多的符号序列是等概的。 ??可以将具有上述结构的序列称为典型序列，而将其余的序列称为非典型序列，如果典型序列的概率之和很大而非典型序列的概率之和很小，则仅用典型序列来代表扩展信源在很多场合是可行的。 既然所有的非典型序列的概率之和很小，对信源输出来说，忽略它们而引入的误差可以小于任何给定的值。 ??将这一特性应用于信源的压缩编码中，这正是数据压缩的本质。 ??信源符号序列分组定理(也称渐进等分特性)说明了上述的分组是存在的，而且可以估算其典型序列的数目。 ??下面给出信源符号序列分组定理。A.E.P(AsymptoticEquipatitionProperty) 信源符号序列分组定理：设无记忆离散信源的信源符号 为 ，其概率分别为 。 假如将它进行K重扩展而得到重符号序列，则任意给定 和 总能找到一个整数 ，使得当 时，有 为扩展后符号序列 中取符号 值的次数( i =1, 2, …, K) 在信息论中，渐进等分特性是弱大数定律的直接推论。大数定律指出，对于独立同分布的随机变量 ，只要N足够大, 接近其数学期望E[X]。?? 渐进等分特性指出，若 是独立同分布的随机变量， 其联合概率为 ，只要N足够大, 接近于信源熵H(S)。即这些序列的联合概率 接近于 。 信源符号序列分组定理说明，对于K重扩展信源，只考虑典型符号序列对信源特性带来的损失可以低到可被忽略的程度，这给出了信源压缩编码的理论依据。 很多学者深入地研究了离散随机序列信源的统计特性，香农(1948)首先发现，后来麦克米伦(1953)和沃尔夫兹(1961)进一步严格证明，这类信源具有渐进等同分割性，简称 A.E.P(Asymptotic Equipatition Property)?? 基本思想:一个总数为 种的消息序列信源随着消息序列长度K的增长且足够大时，越来越明显产生两级分化现象：其中一类组成大概率事件的序列集合 ,它具有如下三个特征：?? 第一， 第二，序列的符号熵H(p’)收敛于信源输出符号(消息)熵H(p) 第三，序列趋于等概率分布而另一类则组成小概率事件的非典型序列集合 它具有特性 由A.E.P，我们无需对全部信源输出符号（消息）进行信源编码，而仅仅只要对其中典型序列集合 中的符号序列进行信源编码即可。 (3) 信源编码的概念 ??信源编码定义：指定能够满足信道特性/适合于信道传输的符号序列/码序列，来代表信源输出的消息。 完成编码功能的器件称为编码器。 ?? 离散信源输出的码序列 ?? 离散信源输出的消息是由一个个离散符号组成的随机序列 X=(X1X2…Xl…XL)