信息论与编码 教学课件 作者 张莲 周登义 余成波 4.pptVIP

第四章 信道与其容量 信道是通信系统中的重要部分。它是传输信息的载体，其任务是以信号的方式传输、储存信息。因而研究信道就是研究信道中理论上能够传输或储存的最大信息量，即信道容量问题。 在信道固定的条件下，总是希望传输的信息越多越好，所以，信息传输率是衡量通信质量的重要指标。但是信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身有关，还与信道输入信号的统计特性有关，它有一个极限值，即信道容量。 信道容量是有关信道的一个很重要的物理量，本章将讨论信道的分类及表示信道的参数，同时研究在信道中传输的每个符号所携带的信息量，并定义信道容量，最后讨论几种特殊信道的容量及其计算方法。 主要内容 4.1 信道的分类与描述 4.2 离散无记忆信道 4.3 信道容量 4.4 连续信道及其容量（了解） 4.1 信道的分类与描述 一、信道的分类： 1）按照信道输入端或输出端的个数： 单用户信道和多用户信道； 2）按照信道的统计参数是否随时间变化： 时变参数信道和固定参数信道； 3）按照信道输入/输出信号取值幅度集合的离散性和连续性： 连续信道和离散信道； 4）按照信道输入/输出信号在取值时刻上是否有依赖关系： 有记忆和无记忆信道； 5）按照信道输入/输出信号之间是否统计依赖： 有噪信道和无噪信道； 二、信道的描述： 描述信道的三要素： 1)信道输入统计概率空间:[ X,p(x) ] 2)信道输出统计概率空间：[ Y,p(y) ] 3)信道本身的统计特性，即转移概率(或传递概率)：P(y|x) 4.2 离散无记忆信道 一、定义：设信道的输入为N维随机矢量X，其取值为： 信道的输出为N维随机矢量Y，其取值为： 若信道的传递概率有下列关系成立： 则称该信道为离散无记忆信道。 二、根据信道是否存在干扰，离散信道又可分成： 1、无扰离散信道： 无扰离散信道和有扰离散信道的情况 三、单符号离散信道： 1、二进制对称信道(二元对称信道——BSC信道) 该信道的输入和输出都取自符号集{0,1}，且传递概率为： 由传递概率构成的矩阵，称为信道矩阵P。 2、信道模型：（见P77图4.2.2） 由于这种信道的输出比特仅与对应时刻的一个输入比特有关，而与以前的输入无关，所以这种信道是无记忆的。BSC信道研究二元编解码最简单，也是最常用的信道模型。 举例 P84页例4.2.2 一个信源以相等的概率及1000码元/秒的速率把0和1码送入有噪信道，由于信道中噪声的影响，发送0接收1的概率是1/16，而发送1接收0的概率是1/32，求信源熵和条件熵、平均互信息。 4.2 信道容量 一、信息传输率： 1、信息传输速率是指在信道上传输过程中，每单位时间内所传输的实际信息量。 信息传输速率的单位与信道容量的单位相同。若信息量的单位为比特，时间单位为秒，其单位为比特/秒;若信息量的单位为比特，时间单位为码元时间，其单位为比特/码元时间。 2、若要求消息能在信道上不失真地传输，则信息传输速率要小于或等于信道的信道容量。若信息传输速率等于信道容量，则所传输的消息必然产生失真。 3、信息传输率的数学表达式： 信道的信息传输率也可表述为平均每个符号所能传送的信息量： 二、有关平均互信息量的两条重要定理（P81页） 研究通信问题，主要就是信源和信道。我们知道它们的 统计特性可以分别用消息的先验概率P（X）及信道转移概率 P（Y/X）来描述，而平均互信息量是经过通信后信宿所获得 的信息量。 定理4.2.2 对于固定的信源分布 P（X），平均互信息 I（X；Y）是信 道传递概率 P（Y/X）的下凸形函数。 （见P83图4.2.7） 定理说明： 1）信源固定以后，用不同的信道来传输同一信源符号时，在 信道输出端获得的信息量是不同的。 2）可以预见，对于一种信源，一定存在一种最差的信道，此 信道的干扰最大，而使输出端获得的信息量最小，因为下凸形 函数存在最小值。 三、信道容量： 1、它等于单位时间内，信道上所能传输的最大信息量。 若平均传输一个符号需要 秒钟，则 含义： 1）描述信道的最大信息传输能力，是信道自身的特性，与输入信源的概率分布无关。 2）若实际的信息传输速率小于信道容量，说明信道未能被充分利用，这就引出下面要讨论的编码效率问题。若实际信息传输速率大于信道容量，那就会引起传输失真。 3）对于不同信道，C值不同；对于固定信道，其C值是一个固定值 * *