信息论基础教程 教学课件 作者焦瑞莉 第三章 信道与信道容量.ppt

第三章　信道与信道容量 信道的数学模型和分类 离散无记忆信道的信道容量 信源与信道的匹配 信道的组合 连续信道的信道容量 空间传输:各种物理通道---电缆、光缆、空间等。 时间传输:指将信息保存，然后在以后读取。 狭义信道：电传播介质（电缆，自由空间） 通信设备（信息经过的通道） 广义信道：测量、观察设备（示波器） 　　　　　 存储、记忆设备（磁带，光盘，书 信等） 输入输出关系：转移概率 p(y|x) 信道描述：1. 输入集合 2. 输出集合 3. 输入输出的转移概率分布 研究目标：从信道的输出了解信道的输入 按信道输入出符号分类 输入、输出空间＝状态集合＋时间集合 离散信道（数字信道）：输入输出空间为离散。连续信道：状态集合连续，时间集合离散。 模拟信道（波形信道）：输入输出空间为连续。 有记忆信道：输出 Y不仅与当前的输入 X 有关，而与前面的输入有关。 无记忆信道：输出 Y 仅与当前的输入 X 有关， 而且与前面的输入无关。 固定参数（恒参）信道：信道的统计特性不随时间变化。 时变参数（随参）信道：信道的统计特性随时间变化。 单符号无记忆离散信道的信道容量 数学模型： 或 研究目标：了解输出端能从输入端得到多少信息？即如 何将信道所能传递的信息定量化？ 数学表示：互信息 I(X;Y) I(X;Y) = H(X) - H(X|Y) = H(Y ) - H(Y|X) 分析：p(y|x) 给定，I(X;Y) 随输入分布p(x)变化而变化。调整该分布可使互信息达到最大值，即给出了信道所能传递的最大信息量。定义该最大值为给定信道的信道容量，用C 表示： 求信道容量：找到最佳分布，使互信息达到最大值。 （最佳分布：达到信道容量时的信源分布。） 说明： C 客观反映信道的传输能力，只与信道特性有关，而与信源无关，表示每个符号可能传输的最大信息量。 可以通过编码改变信源的分布使互信息达到最大值。 定理3.1：对于信道矩阵为 P 的离散无记忆信道，其输入分布 p(x) 能使互信息 I(X;Y)达到最大值（信道容量）的充要条件是 例3.3 取输入分布 所以由定理3.1得， 最佳分布 无噪无损信道 有噪无损信道 无噪有损信道 对称信道 对称信道定义：信道转移矩阵P中所有的行都是同一组元素的不同排列，所有的列也是同一组元素的不同排列。 强对称信道（均匀信道）定义：信道输入、输出符号个数相同，且信道矩阵为 当信道转移概率矩阵P是非奇异时（此时n = m），即逆矩阵P -1存在时，该信道被称为可逆矩阵信道。 结论： （1）输入概率分布的解不唯一，输出概率分布 的解唯一。 （2）当信道转移矩阵可逆时，则输入概率分布 有唯一解。 数学模型： （1）信道无记忆： 证明： 独立并联信道（积信道） 特点： 多输入，多输出。各分信道彼此独立。 容量： 和信道 特点： 随机应用N 个信道中的一个，构成一输入/输出信道。 容量： 分信道的使用概率： 输入并接信道 特点： 输入相同X，输出不同Y=Y1Y2…YN，单输入，多输出。 容量： 对X 进行多次测量，每一次测量都构成一输入/输出信道，则 N 次测量后 级联信道 特点： 单输入，单输出。 容量： 无记忆加性高斯噪声信道（平均功率S受限） 说明：对于无记忆加性高斯噪声信道，利用高斯信号作为输入时，信道总可以得到充分利用。即在无记忆加性高斯噪声信道中高斯信号是最有效的，在同样的信号功率下可以传输最多的信息。 模拟信道及其离散化 模拟信道：输入和输出信号在幅度和时间上都连续取值的信道。 实例：光纤，电缆，电磁波传播的大气层或宇宙空间。 离散化：设模拟信道的输入为x(t) ，相应的输出信号为y(t) ，则可以通过正交展开将其化为时间离散的序列： 统计特性描述： 模拟信道容量计算（限带，加性白色高斯噪声信道） 限带：限制在频带 [-W,W] 内。 输入信号：x(t) ，输出信号： y(t) 。 噪声信号：z(t) （1）加性（与输入统计独立） （2）高斯（瞬时值的密度函数服从高斯分布） （3）白色（平稳遍历的随机过程，功率谱密度 N0 ） 结论：限带 W 的加性白色高斯噪声模拟信道相当于 N 个连续加性高斯信道