信息论基础 教学课件 作者 田宝玉 杨洁 贺志强 王晓湘 chapter6.ppt

§6.2.2 离散对称道的容量 6.2.2 例 解： 一信道的转移概率矩阵如图，求信道容量和达到容量时的输出概率。 设输出概率为 。由于信道为强对称信道，故当输入等概率时达到容量C，此时输出也等概率 §6.2.2 离散对称道的容量 6.2.3 例 解： 一信道的转移概率矩阵如图，求信道容量和达到容量时的输入概率。 设输入输出概率为 由于信道为强对称信道，故当 时,达到容量。 特别是，当r=2时，信道容量为C=1-H(p)比特/符号。 §6.2.2 离散对称道的容量 6.2.4 例 解： 一信道的转移概率矩阵如图，求信道容量和达到容量时的输出概率。 设输出概率为 准对称信道，当输入等概率时达到信道容量。可计算输出概率为 §6.2.3 一般离散信道的容量 求信道容量归结为求有约束极值的问题 ① ② §6.2.3 一般离散信道的容量 §6.2.3 一般离散信道的容量 验证C的正确性 §6.2.3 一般离散信道的容量 用矩阵表示 §6.2.3 一般离散信道的容量 例 一信道的转移概率如图所示，求信道容量和达到容量时的输出概率。 0 1 2 0 1 2 1/2 1/2 1/4 1/4 1/4 1/4 1 §6.2.3 一般离散信道的容量 解： §6.2.3 一般离散信道的容量 例 解： 利用 求例6.1.1中二元对称信道容量。 §6.2.3 一般离散信道的容量 信道容量为 对应的输入概率为 §6.2.3 一般离散信道的容量 ★ 定理6.2.2 对于离散无记忆信道，当且仅当 I(X;Y)达到最大值，此时C为信道容量 §6.2.3 一般离散信道的容量 6.2.6 例 解： 信道的转移概率如下图所示，求信道容量和达到容量时的输入出概率。 设输入、输出概率为p0,p1,p2.q0,q1 1）达到容量时，若输入概率全不为零 解得 ，C=1比特，但将结果代入第2式，使该式左边的值为0，出现矛盾。 §6.2.3 一般离散信道的容量 2）设p2=0，p0,p1,不为零 将结果代入第2式，该式左边的值为0C。所以，信道容量C=1比特/符号，达到容量时的输入概率为概率为 §6.2.3 一般离散信道的容量 §6.3 级联信道及其容量 ★ 级联的含义是被连接的信道输入只依赖于前面相邻信道的输出而和前面的其它信道的输出无直接关系 ★ 若随机变量集合(X,Y,Z)构成马氏链，则称信道X-Y与Y-Z构成级联信道。由于当Y给定时，Z不依赖于X，即P(z|y)=P(z|xy) 证 ★ 定理6.3.1 若X,Y,Z构成一马氏链，则： §6.3 级联信道及其容量 ★ 通信系统模型各部分的级联 信道传输后，译码器收到N长序列为 ，译码后传给信宿的消息序列为 。 §6.3 级联信道及其容量 证 ★ 定理6.3.2(数据处理定理) ★ 定理的含义：从信宿得到的关于信源的信息经过编 译码器、信道的处理后会减少，而且处理的次数越 多，减少得越多。 §6.3 级联信道及其容量 级联信道为马氏链 ★ 级联信道的转移概率矩阵 一级级联相当于状态的一步转移 级联信道的转移概率矩阵为级联信道中各矩阵依次相乘 §6.3 级联信道及其容量 ★ 级联信道的容量 根据级联信道的转移矩阵特点，按照前面介绍的离散信道容量的计算方法即可计算其信道容量。 给定二元对称信道其状态转移矩阵如下，计算两级级联信道的概率转移矩阵。如果信道输入 0、1 等概率，求在两级级联和三级级联情况下输入与输出的平均互信息。 6.3.1 例 解： 1)两级级联信道的概率转移矩阵 §6.3 级联信道及其容量 2)设原信道输入与输出集分别为X、Y，两级级联和三级级联情况下输出集合分别为Z、U 其中 类似地,可计算三级信，级联的情况： 结论：信道串联后增加信息损失，串联级数越多，损失越大。 §6.3 级联信道及其容量 设错误概率ε为1/3，计算两级级联信道的容量及达到容量时的输出概率。 6.3.1(续) 例 解： 两级级联信道的转移矩阵为 §6.3 级联信道及其容量 该级联信道是一个强对称信道，因此当输入等概时达到信道容量，此时输出也等概。所以 比特/符号 ★多维矢量信道输入与输出的性质 ★并联信道及其容量 ★离散无记忆扩展信道及其容量 §6.4 多维矢量信道及其容量 ★和信道及其容量 * 离散信道及其容量 第 6 章 北京邮电大学 信息工程学院 ★信道是信号的传输媒介，是传送信息的物理通道。 ★研究信道的目的主要是为了解决信息如何有效、可靠地传输的问题。 ★本章重点解决某些特殊信道容量的计算问题。 第4章 离散信道及