信息论与编码第2章.ppt

2.3.3马尔可夫信源的序列熵 设一马尔可夫信源处在某一状态ei，当它发出一个符号后，所处的状态就变了，即从状态ei变到了另一状态。任何时刻信源处在什么状态完全由前一时刻的状态和此刻发出的符号决定 。 2.3.3马尔可夫信源的序列熵 定理2-5 各态遍历定理 对于有限齐次马尔可夫链。若存在一个正整数，对一切i,j=1,2，…，nm都有pr(ej|ei)大于0，则对每一个j都存在不依赖于i的极限 称这种马尔可夫链是各态遍历的。其极限概率是方程组 满足条件 的惟一解。这就是有限齐次马尔可夫链的各态遍历定理。 2.4 连续信源的熵和互信息 连续信源是一类比较难于处理的信源，如何来求解呢？逐步分解和简化是解决这类问题的常用方法，我们可以先将连续信源在时间上离散化，再对连续变量进行量化分层，并用离散变量来逼近连续变量。量化间隔越小，离散变量与连续变量越接近，当量化间隔趋近于零时，离散变量就等于连续变量。 2.4.1幅度连续的单个符号的信源熵 连续信源熵(也叫相对熵、差熵)定义为 我们可以看到相对熵和绝对熵（信息量）相差一个无穷。我们可以这样理解：连续信源采样点需要无穷多，才能变为离散信源，每一个点都带有信息量，所以差一个无穷。好像没有意义了。工程上我们主要是比较信源熵，将无穷项约掉，就有意义了。一般我们将相对熵简称为熵。 2.4.2 波形信源熵 波形信源在概念上与离散信源是不同的，但也有不少类似之处。对连续信源的分析，也可以类似于离散信源从单个连续消息（变量）开始，在推广至连续消息序列。对于连续随机变量可采用概率密度来描述：对连续随机序列可采用相应的序列概率密度来描述；而对于连续的随机过程一般也可以按照取样定理分解为连续随机变量序列来描述。取样之后还要对取值的离散化。取样加量化才使随机过程变换成时间的取值都是离散的随机序列。量化必然带来量化噪声，引起信息损失。 2.4.2 波形信源熵 就统计特性的区别来说，随机过程大致可分为平稳随机过程和非平稳过程两大类。如果是平稳的随机过程的熵也可以转换为平稳随机序列的熵。对于平稳随机过程，其 {x(t)}和{y(t)}可以通过取样，分解成取值连续的无穷平稳随机序列来表示，所以平稳随机过程的熵就是无穷平稳随机序列的熵。 2.4.3 最大熵定理 离散信源在等概率的时候，熵值最大，那么在连续信源中，当概率密度函数满足什么条件时才能使连续信源相对熵最大？我们考虑通常我们最感兴趣的是两种情况：一种是信源的输出值受限；另一种是信源的输出平均功率受限。 2.4.3 最大熵定理 1. 峰值功率受限条件下信源的最大值 若某信源输出信号的峰值功率受限，它等价于信源输出的连续随机变量X的取值幅度受限，限于[a，b]内取值。在约束条件 下信源的最大相对熵。 定理2-6 若信源输出的幅度被限定在[a，b]区域内，则当输出信号的概率密度是均匀分布时信源具有最大熵。其值等于log(b-a)。若当N维随机矢量取值受限时，也只有随机分量统计独立并均匀分布时具有最大熵。 2.4.3 最大熵定理 2. 平均功率受限条件下信源的最大值 定理2-7 若一个连续信源输出信号的平均功率被限定为P，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大熵，其值为 对于N维连续平稳信源来说，若其输出的N维随机序列的协方差矩阵C被限定，则N维随机为正态分布时信源的熵最大，N维高斯信源的熵最大，其值为 这一结论说明，当连续信源输出信号的平均功率受限时，只有信号的统计特性与高斯统计特性一样时，才会有最大的熵值。 2.5 冗余度 冗余度（多余度、剩余度，redundancy）表示给定信源在实际发出消息时所包含的多余信息。 2.5 冗余度 冗余度来自两个因素，一是信源符号间的相关性，由于信源输出符号间的依赖关系使得信源熵减小，这就是信源的相关性。相关程度越大，信源的实际熵越小，趋于极限熵；反之相关程度减小，信源实际熵就增大。 另一个方面是信源符号分布的不均匀性，当等概率分布时信源熵最大。而实际应用中大多是不均匀分布，使得实际熵减小。 2.5 冗余度 我们定义信息效率为 2.6 最大熵原理 在投资时常常讲不要把所有的鸡蛋放在一个篮子里，这样可以降低风险。在信息处理中，这个原理同样适用。在数学上，这个原理称为最大熵原理(the maximum entropy principle)。 2.6 最大熵原理 最大熵原理的实质就是，在已知部分知识的前提下，关于未知分布最合理的推断就是符合已知知识最不确定或最随机的推断，这是我们可以做出