现代通信原理[电子教案_附有练习习题]：第6章_编码技术.ppt

现代通信原理 第6章 编码技术 本章学习要求： 了解：单个消息的信息量度量方式 掌握：模拟信源、离散信源发出消息所携带的平均信息量——熵的计算公式和方法 掌握：通信的两个主要技术指标——有效性和可靠性 掌握：香农公式 了解：源编码和信道编码的概念 了解：改善系统两大指标的措施——压缩信源消息中的冗余来提高有效性以及增加冗余码元来提高可靠性 掌握：两种最佳信源编码方法，即霍夫曼编码和香农—范诺编码法 了解：通过汉明码和循环码阐明信道的可靠性编译码思路及过程 6．1 信源编码 6．1．1 信息的度量 1.信源的不肯定度就是信源提供的信息量；信源的不肯定度越高，信宿得到的信息量就越大。 2.设信源发出某消息 的概率为 ，用 表示消息 提供信息量，则定义： = 称 为消息 的自信息量. 6．1．1．2 离散信源的平均信息量——熵 1.信源熵--信源输出一个消息所提供的平均信息量，即信源的不肯定度. 2.对于二元离散信源，若出现0、1的概率分别为 ， ，那么，该信源的熵为： 只有当 时， 取最大值，即 。当 或 时， 取最小值0。 3.具有N个符号的离散独立信源中，即当N个各符号的出现概率P = 时，该信源的熵 取最大值 = = （bit） 4.结论： 在无干扰情况下，收信者从信源输出的每个消息中得到的平均信息量，等于信源每个消息所提供的平均信息量，也等于信源的不肯定度 ；当信道存在于扰时，收信者从收到的每个消息中得到的平均信息量将小于信源每个消息提供的平均信息量，或者说小于信源的不肯定度 。 1.当信源输出的消息是连续变化时，或者说信源的输出在任意时间范围内，都可以有无数多个取值时，就称该信源为连续信源。 2.连续信源的熵 = 不是指它实际输出的绝对熵，而是减去一个无穷大项后的相对熵。 3.结论： 连续信源的熵指的是一个比无穷大大多少的相对量，而不是绝对量； 离散信源的熵是一个绝对量，二者是不同的。 6．1．2 信源编码 1.对于信源和信道都已知的通信系统，其编码根据不同的目的可分为信源编码和信道编码两类。 信源编码主要针对信源特性，通过改变信源各个符号之间的概率分布，实现信源与信道间的匹配，使信息传输速率无限接近其最大值——信道容量，所以也称之为有效性编码。 信道编码则是通过变换各个信码之间的规律或相关性，使其对误码具有一定的自检或自纠能力，进而使系统在一定的传信率下错误概率任意小。这类编码的目的主要是为了提高系统的抗干扰力，针对信道特性而采取的措施，有时也叫抗干扰编码。 2.信源最佳化过程一般按如下两步进行： （1）符号独立化：解除各符号间的相关性； （2）概率均匀化：使各符号出现概率相等。 6．1．2．1 符号独立化 1.弱记忆信源 在一个信源输出的所有符号序列中，每个符号都只与其相邻的少数几个符号之间统计相关，而和所有其它相距较远的符号相互独立或者其相关性可以忽略不计。 2.强记忆信源 一个信源输出序列的各个符号之间具有很强的相关性，以致于只要知道其中的一部分符号就可以推知其余符号. 3.符号独立化 解除信源各符号之间的相关性，使得各个符号的出现彼此独立。 4.由于强、弱记忆信源各个符号之间的相关性完全不同，分别采用预测法、延长法（也叫合并法）来完成其各自的符号独立化过程。 6．1．2．2 概率均匀化一最佳编码 1.概率均匀化的基本思路 有冗余信息的信源在解除了各符号的相关性后，若能够使各个符号出现的概率趋于均匀，就能进一步去掉冗余信息，提高信源的平均信息量。将出现概率大的消息符号编成位数少的短码，而出现概率小的符号编成长码，则编码后各个符号的出现概率就会接近或趋于均匀. 2. 香农—范诺（Shannon—Fano）编码法 设一个有限离散独立信源，可以输出八个独立的消息A、B、C、D、E、F、G、H，各符号输出的概率空间如下所示： 利用香农一范诺编码法，对该信源进行编码。具体编码方法及步 骤如下： ①首先把各个消