2014年秋信息论课件第3章_信道与信息容量.ppt

信息论基础B第3章 信道与信息熵  任课老师：干宗良 博士（讲师）江苏省图像处理与图像通信重点实验室 第3章 内容纲要 重点掌握 信道容量的概念 对称DMC信道容量的计算 准对称DMC信道容量的计算 限时限频限功率加性高斯白噪声信道 容量的计算 一般掌握 信道模型及其分类 了解 一般DMC信道容量的迭代计算 离散序列信道容量的计算 第3章信道与信道容量 信道分类和表示参数 离散单个符号信道及其容量 离散序列信道及其容量 连续信道及其容量 3.1信道分类和表示参数 信道分类 用户数量：单用户、多用户 输入端和输出端关系：无反馈、有反馈 信道参数与时间的关系：固参、时变参 噪声种类： 随机差错、突发差错 输入输出特点：离散、连续、半离散半连续、 波形信道 3.1信道分类和表示参数 信道参数 3.1信道分类和表示参数 二进制对称信道（BSC） 3.1信道分类和表示参数 离散无记忆信道 3.1信道分类和表示参数 离散输入、连续输出信道 3.1信道分类和表示参数 波形信道 离散信道的一般概率关系 先验概率 联合概率 前向概率（信道传递概率） 后验概率 输出符号概率 3.2离散单个符号信道及其容量 信息传输率 信道在单位时间内平均传输的信息量定义为信息传输速率 R=I(X;Y)=H(X)－H(X/Y) 比特/符号 Rt=I(X;Y)/t 比特/秒 信道容量 比特/符号（bits/symbol或bits/channel use） 例：平均互信息量的凸状性质 无干扰离散信道的信道容量 3.2离散单个符号信道及其容量 X、Y一一对应 C＝maxI(X;Y)＝log n 多个输入变成一个输出 C＝maxI(X;Y)＝maxH(Y) 一个输入对应多个输出 C＝maxI(X;Y)＝maxH(X) 3.2离散单个符号信道及其容量 对称DMC信道定义 输入对称 如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称 输出对称 如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称 对称的DMC信道 如果输入、输出都对称 3.2离散单个符号信道及其容量 对称DMC信道例子 3.2离散单个符号信道及其容量 输入对称 3.2离散单个符号信道及其容量 对称信道容量 3.2离散单个符号信道及其容量 Eg. 求信道容量 3.2离散单个符号信道及其容量 Eg. 求信道容量 3.2离散单个符号信道及其容量 二进制对称信道容量 C＝1－H（?） 3.2离散单个符号信道及其容量 串联信道 3.2离散单个符号信道及其容量 Eg.设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量 3.2离散单个符号信道及其容量 信道容量 I(X;Y)=1-H(?)，I(X;Z)=1-H[2? (1-?)] 3.2离散单个符号信道及其容量 准对称DMC信道 如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称DMC信道 3.2离散单个符号信道及其容量 准对称DMC信道容量 对于准对称DMC信道，当输入分布为等概分布时，互信息达到最大值，即为信道容量 Eg. 求信道容量 方法二 当p(a1)＝p(a2)＝1/2时， p(b1)＝p(b2)＝(1-0.2)/2＝0.4 C=H(Y)-H(Y/X)=0.036bit/符号 应用方法三 3.2离散单个符号信道及其容量 Eg. 求信道容量 3.2离散单个符号信道及其容量 一般DMC信道 1972年由R.Blahut和A.Arimoto分别独立提出的一种算法，现在称为Blahut-Arimoto算法 I(ai;Y) = C 对于所有满足p(ai ) 0条件的I I(ai;Y) ? C 对于所有满足p(ai ) = 0条件的I 关于信道容量的几点注释 设有干扰离散信道的输入端等概出现A，B，C，D。该信道传输正确传输的概率是1/2，错误传输概率平均分布到其它三个字母上，求该信道上，每个字母传输的平均信道量。 例题 有离散Z信道 （1）信道容量C； （2）p=0和p=1时的信道容量 求信道容量 3.3离散序列信道及其容量 离散序列信道 3.3离散序列信道及其容量 离散无记忆序列信道 3.3离散序列信道及其容量 离散无记忆序列信道 3.3离散序列信道及其容量 扩展信道 如果对离散单符号信道进行L次扩展，就形成了L次离散无记忆序列信道