第五章：信道与信道容量.ppt

第五章：信道与信道容量 本章内容回顾 定长信源编码 描述 证明－AEP性质（描述、证明、物理意义、应用） 物理意义 编码信息率、编码效率 应用(问题） 变长编码定理 描述 证明－KRAFT定理（描述、证明、物理意义、应用 物理意义 平均码长、编码效率 应用－构造实用码（码树构造、huffman码、算术码） 本章节达到的目的 了解信息论研究信道的目的、内容 了解信道的基本分类并掌握信道的基本描述方法 掌握信道容量/信道容量代价函数的概念，以及与互信息、信道输入概率分布、信道转移函数的关系 能够计算简单信道的信道容量/信道容量代价函数（对称离散信道、无记忆加性高斯噪声信道） 了解信道容量/容量代价函数在研究通信系统中的作用 理解香农第一定理又称无噪信道编码的物理意义 进一步从信息论的角度理解香农公式及其用途 概念问题 熵?熵率?无失真信源编码定理中的作用 互信息?信道容量?信道编码定理中的作用 回顾－互信息函数的性质1 互 信息与信道输入概率分布的关系 性质1 ：I(X; Y)是信道输入概率分布p(x)的上凸函数. 回顾－互信息函数的性质2 互信息与信道转移概率分布的关系 性质2 ：I(X; Y)是信道转移概率分布p(y/x)的下凹函数. 回顾－互信息函数的性质3 互信息与信道输入符号相关性的关系 性质3: 信道的输入是离散无记忆的, 回顾－互信息函数的性质4 回顾－互信息函数的性质5 性质3、性质4的推论： 信道的输入和信道本身都是离散无记忆的 信道与信道容量 概述 信道的分类与描述 离散无记忆信道及其容量 连续信道及其容量 模拟信道及其容量 信道冗余度 §5.1:概述 信息论对信道研究的内容 什么是信道？ 信道的作用 研究信道的目的 §5.1:概述－1 信息论对信道研究的内容： 信道的建模：用恰当的输入/输出两个随机过程来描述 信道容量 不同条件下充分利用信道容量的各种办法 §5.1:概述－2 什么是信道？ 信道是传送信息的载体——信号所通过的通道。 信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。 §5.1:概述－3 信道的作用 在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。 信道传输信息的速率：与物理信道本身的特性、载荷信息的信号形式和信源输出信号的统计特性有关。 信道容量研究内容：在什么条件下，通过信道的信息量最大。 §5.1:概述－4 研究信道的目的 实现信息传输的有效性和可靠性 有效性：充分利用信道容量，使传输的信息量尽可能大 可靠性：通过信道编码降低误码率 结合通信系统研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。 通信技术研究－－信号在信道中传输的过程所遵循的物理规律，即传输特性 信息论研究－－信息的传输问题（假定传输特性已知） §5.2:信道的分类与描述 信道分类 信道描述 §5.2:信道分类与描述－1 信道分类 从工程物理背景——传输媒介类型； 从数学描述方式——信号与干扰描述方式； 从信道本身的参数类型——恒参与变参； 从用户类型——单用户与多用户；  §5.2:信道分类与描述－4信道划分是人为的，比如 §5.2:信道分类与描述－5 §5.2:信道分类与描述－6 §5.2:信道分类与描述－7 信道描述 信道可以引用三组变量来描述： 信道输入概率空间：[XK,p(x)] 信道输出概率空间：[YK,q(y)] 信道概率转移矩阵：P (y/x) 即：{[XK,p(x)] ，P(y/x) ， [YK,q(y)] }， 它可简化为： §5.2:信道分类与描述－8 其中： 而 而 §5.2:信道分类与描述－9 当K=1时，退化为单个消息（符号）信道；进一步当n=m=2时，退化为二进制单个消息信道。若它满足对称性，即构成最常用的二进制单消息对称信道BSC： §5.3:离散无记忆信道及其信道容量 §5.3:离散无记忆信道及其信道容量-1 离散消息序列信道 §5.3:离散无记忆信道及其信道容量-2 信道的任务 信道容量 ? 传输有效性 传输可靠性 ? 信道噪声 信息流通过特定信道（信道容量和噪声特性已定） §5.3:离散无记忆信道及其信道容量-3 §5.3:离散无记忆信道及其信道容量-4 H(X/Y) —信道疑义度/损失熵。 Y