中北大学信息论与编码第4,5,6讲.ppt

* 定义、计算公式、相互关系 自信息量、信源熵、互信息、条件熵、联合熵 序列熵、平均符号熵、极限熵 相对熵／差熵 冗余度 * * * * * * * 　　对离散平稳有记忆信源，其联合概率具有时间推移不变性，此时有如下结论： （1） 是L的单调非增函数。 （2） （3） 　是L的单调非增函数。 （4）当 时， 称为极限熵，又称为极限信息量。 * 　　由结论（3）有： 为等概率无记忆信源单个符号的熵， 为一般无记忆信源单个符号的熵， 为两个符号组成的序列平均符号熵，依此类推。 结论(4)从理论上定义了平稳离散有记忆信源的极限熵，对于一般离散平稳信源，实际上求此极限值是很困难的。但对于一般离散平稳信源，由于取L不很大时就能得出非常接近 的 因此，可用条件熵或者平均符号熵作为平稳信源极限熵的近似值。 * 当平稳信源满足m阶马尔可夫性质时 * 对于齐次、遍历马尔可夫信源 * 2.3.5 信源冗余度 冗余度也称多余度或剩余度。冗余度来自两个方面，一是信源符号间的相关性。 另一个方面是信源符号分布的不均匀性，当等概率分布时信源熵最大。 当信源输出符号间彼此不存在依赖关系且为等概率分布时，信源实际熵趋于最大熵H0。 * 对于一般平稳信源来说，极限熵为 ，这就是说我们要传送这一信源的信息，理论上只需要有传送 的手段即可。但实际上我们对它的概率分布未能完全掌握，只能算出 ，若用能传送 的手段去传送具有 的信源，当然就很不经济。我们定义为信息效率和冗余度分别为： * 信源的冗余度能够很好地反映信源输出的符号序列中符号之间依赖关系的强弱。 冗余度越大，表示信源的实际熵 越小，表明信源符号之间的依赖关系越强，即符号之间的记忆长度越长； 反之，冗余度越小，表明信源符号之间的依赖关系越弱，即符号之间的记忆长度越短。 * 当冗余度等于零时，信源的熵就等于极大熵 ，表明信源符号之间不但统计独立无记忆，而且各符号还是等概分布。因此，冗余度可以用来衡量信源输出的符号序列中各符号之间的依赖程度。 例：以符号是英文字母的信源为例，英文字母加上空格共有27个，则最大熵为 * 但实际上，用英文字母组成单词，再由单词组成句子时，英文字母并不是等概率出现，比如我们知道在英语中E出现的概率大于Q出现的概率。对在英文书中各符号的概率加以统计，可以得出各个字母出现的概率，由此得出第一级近似为无记忆信源的熵： * 再考察英语的结构得知，要组成有意义的单词，英文字母的前后出现是有依赖关系的，当前面某个字母出现后，后面将出现什么字母，并不是完全不确定的，而是有一定的概率分布。例如字母T后面出现H、R的可能性较大，出现J、K、L、M、N的可能性极小，而根本不会出现Q、F、X。 考虑到字母之间的依赖性，可以把英语信源做进一步精确的近似，看作一阶或二阶马尔可夫信源，这样可以求得： * 因此可知，在信源所输出的序列中依赖关系越复杂，信息熵就越小。实际上，英文信源的信息熵还要小得多，一般认为 。因此，信息效率和冗余度为 * 应用 （1）从提高传输信息效率的观点出发，总是希望减少或去掉冗余度。实际的通信系统中，为了提高传输效率，往往需要把信源的大量冗余进行压缩，这就是所谓的信源编码。 * （2） 冗余度大的消息具有强的抗干扰能力。当干扰使消息在传输过程中出现错误时，我们能从上下关联中纠正错误。 从提高抗干扰能力的角度来看，总是希望增加或者保留信源的冗余度，或者是传输之前在信源编码后去除冗余的符号序列里加入某些特殊的冗余度，以达到通信系统理想的传输有效性和可靠性，这就是所谓的信道编码。 * 2.4 连续信源的熵和互信息 2.4.1 连续信源熵和互信息 基本连续信源的输出是取值连续的单个随机变量，可用变量的概率密度 来描述。此时，连续信源的数学模型为： 其中，R是全实数集，是变量X的取值范围。 对这个连续变量，可以用离散变量来逼近，即连续变量可以认为是离散变量的极限情况。量化单位越小，则所得的离散变量和连续变量越接近。因此，连续变量的信息度量可以用离散变量的信息度量来逼近。 * 把连续信源概率密度的取值区间[a,b]分割成n个小区间，各小区间设为等宽 ，那么