信息论ch4.1.ppt

第1章 绪论 第4章 离散信道及其容量 4.1 信道的数学模型及其分类 了解信息论研究信道的目的、内容 了解信道的基本分类并掌握信道的基本描述方法 掌握离散无记忆信道及其熵、互信息、信道输入概率分布、 信道转移函数、信道矩阵的关系 信道扩展 能够计算简单信道的信道容量（几种特殊信道） 了解信道容量在研究通信系统中的作用 理解香农第一定理又称无噪信道编码的物理意义 进一步从信息论的角度理解香农公式及其用途 引言 信息论对信道研究的内容： 信道的建模：用恰当的输入/输出两个随机过程来描述 信道容量 不同条件下如何充分利用信道容量 3）研究信道的目的 实现信息传输的有效性和可靠性 有效性：充分利用信道容量 可靠性：通过信道编码降低误码率 在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。 通信技术研究－－信号在信道中传输的过程所遵循的物理规律，即传输特性 信息论研究－－信息的传输问题（假定传输特性已知） 信道描述 信道可以引用三组变量来描述： 信道输入概率空间： 信道输出概率空间： 信道概率转移矩阵：P 即：{ ， P ， }， 它可简化为： 。 离散无记忆信道 输入符号集合:A={a1,a2,……,ar} 输出符号集合:B={b1,b2, ……,bs} 例：对于二进制信道： A={0，1} B={0，1} 理想信道，H(X|Y)=0。 一般情况下， 。 当 时，表示接收到输出变量Y后关于输入变量X的平均不确定性一点也没有减少。 复习上节课的内容 1、 信道的数学模型及其分类 2、离散无记忆信道（DMC）：其数学模型为 随堂练习1 随堂练习2 定义：平均互信息的最大值 为信道的信道容量，用C表征 。单位是bit或hat C 表示传递概率固定为 的给定信道所传递的平均互信息量的最大值。 信道容量c表征信道传送信息的最大能力。 平均互信息量I(X;Y )是信道每传递一个符号传输的平均信息量，因此也称信道的信息传输率 ，用R（X；Y）表示。 R（X；Y）=I（X；Y） 已知信道每传递一个符号需要t秒时间，则信道每秒钟能传输的平均互信息量，称之为信道的信息传输速率， 信道的最大信息量： 单位：bit/s 例4.5.1：二元对称信道的信道容量 信道容量是信道传递概率的函数，与信道输入变量X的概率分布无关。 研究信道的核心问题是： （1）求出信道容量； （2）达到信道容量C的信源概率分布p（x）。 4.5.2 离散无噪信道 无损信道 无损信道的一个输入对应多个输出，其信道矩阵中每一列中只有一个非零元素，即信道接收到输出以后，必可知发送端的状态 。 确定信道 确定信道的一个输出对应着多个互不相交的输入，其信道矩阵中每一行只有一个元素为“１”，其余元素均为“０”。 无损确定信道 无损信道的输入和输出是一一对应关系，其信道的信道矩阵为单位阵。 重要概念 损失熵 ：信源符号通过有噪信道传输后所引起的信息量损失，即信道疑义度 H(X|Y)。 噪声熵：在已知集 X的条件下，对于集 Y尚存在的不确定性，即条件熵 H(Y|X) 。 如图示： X Y a1 b1 b2 b3 a2 b4 b5 a3 b6 图4.21 无损信道 分析：则知在这类信道中，信源发出符号ai,并不能判断输出端会发生哪一个bj, 即噪声熵 H（Y/X）0 而收到符号bj，能判定信源发送的符号ai， 即疑义度 则对于无损信道， r表示信道输入符号集的符号数。 c取决于信道输入符号集的符号数r 当输入信源X是符号数为r的等概信源时，发散无噪信道才能达到容量C，信道容量等于匹配信源的最大熵值。 2、确定信道（具有并归性能的无噪信道：多对一） 分析：则