3-2第3章3.3多符号离散信道.ppt

第3章　信道容量 3.1　信道的数学模型和分类 3.2　单符号离散信道的信道容量 3.3　多符号离散信道 3.3.1 多符号离散信道的数学模型 3.3.2 离散无记忆信道和独立并联信道的信道容量 3.4　多用户信道 3.5　连续信道 3.6　信道编码定理 离散无记忆N次扩展信道 一般离散无记忆信道的数学模型基本上与输入和输出为单符号的简单离散无记忆信道的模型相同。 不同的是其输入和输出不是单个随机变量X和Y，而是随机序列 其概率空间为 简单的离散无记忆信道 简单的离散无记忆信道的输入和输出都是单个随机变量，其数学模型如下图： 信道的输入随机变量取值于符号集X 信道的输出随机变量取值于符号集Y 信道的传递概率为 简单的离散无记忆信道 信道矩阵为： 且满足 这意味着矩阵中每一行之和为1。 离散无记忆信道的N次扩展信道 此离散无记忆信道的N次扩展信道的数学模型如下图： N次扩展信道的信道矩阵 N次扩展信道的信道矩阵 例 二元对称信道的二次扩展信道 分析二元无记忆对称信道的二次扩展信道。 例 二次扩展信道的传递概率 例 二次扩展信道的信道矩阵 从而求得二元对称信道的二次扩展信道的信道矩阵为： 例 二元对称信道的二次扩展信道 二元对称信道的二次扩展信道如下图所示： N次扩展信道的平均互信息 定理一 若信道的输入和输出分别是N长序列X和Y，且信道是无记忆的，亦即信道传递概率为 定理 二 若信道的输入和输出分别是N长序列X和Y，且信源是无记忆的，亦即 N个独立信道并联 根据定理一和定理二可知，当信源和信道都是无记忆的。此时， 这相当于N个独立信道并联的情况。 N个独立信道并联 数学模型 N次扩展信道 N次扩展信道 这样，对于离散无记忆信道的 N 次扩展信道，当信源也是无记忆时，则有 I(X;Y) = N I(X;Y) 此式表明，当信源是无记忆时，对于无记忆的N次扩展信道，其平均互信息I(X;Y)等于原来信道的平均互信息I(X;Y)的 N 倍。 离散无记忆N次扩展信道 N次扩展信道的信道容量 CN = NC 表明，对于离散无记忆 N 次扩展信道，其信道容量等于单变量信道的信道容量的N 倍。 只有当输入信源是无记忆的，同时序列中每一分量Xi , i = 1,2, ... ,N 的分布各自达到最佳分布时，N 次扩展信道的信道容量才能达到 NC 。 一般情况下，消息序列在离散无记忆 N 次扩展信道中传输时，其平均互信息量为： I(X;Y)≤ NC 对于独立并联信道，有 　 当Ｎ个输入随机变量之间统计独立，且每个输入随机变量的概率分布为达到各自信道容量的最佳分布时，等式成立。 小结 首先介绍了离散无记忆信道中各种熵、信道疑义度及平均互信息量之间的相互关系。并通过例题说明和验证了这些关系； 讨论了离散无记忆扩展信道。分析了二元对称信道的二次扩展信道的统计特性； 对于一般离散信道，关于传输N长随机序列所获得的平均互信息，给出了两个重要的定理。 信道的组合 实际中我们常常会遇到两个或多个信道组合在一起使用的情况。例如： 积信道：待发送的消息比较多时，可能要用两个或多个信道并行地传送，香农称这种信道为积信道； 级联信道：有时消息会依次地通过几个信道串行地传送，称此为级联信道； 和信道：有时将两个以上信道联合起来，这类信道香农称为和信道。 在研究较复杂的信道时，往往也可以将它们分解成几个简单的、已经解决的信道的组合。 级联信道（串联信道）的模型 信道I和信道II都是离散无记忆信道 级联信道的传递概率 定理 级联信道中的平均互信息满足以下关系 数据处理定理 数据处理定理 数据处理定理（续） 定理的物理意义 数据处理定理说明，在任何信息传输系统中，最后获得的信息至多是信源所提供的信息。 如果一旦在某一过程中丢失一些信息，以后的系统不管如何处理，如不触及到丢失信息过程的输入端，就不能再恢复已丢失的信息。 这就是信息不增性原理，它与热熵不减原理正好对应。它深刻地反映了信息的物理意义。 例 二元对称信道的串联 设有二个离散二元对称信道，其串联信道如下图所示。 设第一个二元对称信道的输入符号的概率空间，以及两个二元对称信道的信道矩阵为 例（续）平均互信息 n个二元对称信道串联 如果在两个二元对称信道串联之后再增加一个级联环节，可得 依次类推，n个二元对称信道经串联后，其平均互信息量如下图所示。 n个二元对称信道串联 例 一串联信道如下图所示，求总的信道矩阵。设X、Y、Z满足马氏链的性质。 例 （续）总的信道矩阵 例 （续）等效信道 则该级联信道可等效为如下的信道 小结 实际