第章 离散信道及其信道容量.pptVIP

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 第3章 离散信道及其信道容量 研究信道中理论上能够传输或存储的最大的信息量 信道分类及其描述 单符号离散信道的数学模型 平均互信息及其特性 信道容量及其计算方法 各种离散信道的信道容量 3.1 信道的分类及其描述 信道分类 用户数量：单用户、多用户 有记忆/无记忆信道 信道参数与时间的关系：固参、时变参 有噪/无声种类： 随机差错、突发差错 输入输出特点：离散、连续、半离散半连续、波形信道 3.2 单符号离散信道 信道参数 3.2 单符号离散信道 3.2 单符号离散信道 3.2 单符号离散信道 如果信道转移概率矩阵的每一行/每一列只包含一个1，其余都为0，则信道是无干扰离散息道，否则是有干扰信道 3.3 平均互信息及其特性 平均互信息量 其中 损失熵和噪声熵 信道疑义度（损失熵） 共熵 噪声熵 平均互信息的特性 非负性：当且仅当X和Y统计独立时，取值0 对称性 极值性 凸性函数 当条件概率分布给定时，平均互信息量是输入概率分布的上凸函数 当集合X的概率分布保持不变时，平均互信息量是条件概率分布的下凸函数 3.4 信道容量 信息传输率就是互信息 信道中平均每个符号所能传送的信息量，即信道的信息传输速率 R=I(X;Y)=H(X)－H(X/Y) 比特/符号 Rt=I(X;Y)/t 比特/秒 信道容量: I(X;Y)是p(x)、p(y/x)的函数，并且是p(x)的凹函数。对固定的信道，存在某个分布p(x)，使得I(X;Y)达到最大值，称为信道容量 几个特殊信道的信道容量 无干扰离散信道的信道容量 几个特殊信道的信道容量 X、Y一一对应 ( I(X;Y)=H(X)=H(Y) ) C＝maxI(X;Y)＝log n 多个输入变成一个输出( I(X;Y)=H(Y)H(X) ) C＝maxI(X;Y)＝maxH(Y) = log m 一个输入对应多个输出( I(X;Y)=H(X)H(Y) ) C＝maxI(X;Y)＝maxH(X) = log n 对称离散信道及其容量 对称的DMC信道:如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，并且每一列都是第一列的置换(包含同样元素)，称该信道为对称的DMC信道 对称DMC信道例子 对称离散信道及其容量 两个性质： H(Y/X)与信道输入符号的分布无关 当输入等概分布时，输出符号也等概分布 对称离散信道及其容量 对称信道的信道容量容量 对称离散信道及其容量 Eg. 求信道容量 对称离散信道及其容量 二进制对称信道容量 准对称离散信道及其容量 准对称DMC信道: 转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称DMC信道 准对称离散信道及其容量 Eg. 求信道容量 准对称离散信道及其容量 准对称离散信道及其容量 Eg. 求信道容量 一般离散信道的信道容量 一般DMC信道： 推导可以得到方程组： 如果上述方程组存在解{pi}: 一般离散信道的信道容量 特别的，当信道转移矩阵非奇异时，对n个i： 按照上述方法得到的解未必满足要求，解可能在边界上。迭代算法分别于1972年由S.Arimoto和R.E.Blahut给出。 3.5 多符号离散信道 离散序列信道 3.5 多符号离散信道 扩展信道的转移概率矩阵 3.6 离散无记忆扩展信道的信道容量 如果信道无记忆: 如果信源无记忆: 信源无记忆的无记忆信道： 3.6 离散无记忆扩展信道的信道容量 当信道平稳时CN=NC1，一般情况下，I(X;Y) ? NC1 3.7 组合信道 串联信道 3.7 组合信道 I(X;Y)=1-H(?), I(X;Z)=1-H[2? (1-?)] 3.7 组合信道 3.8 信源与信道的匹配 信道剩余度=C-I(X;Y) 信道的相对剩余度= (C-I(X;Y))/C 对于无噪信道：C=log r 此时的相对剩余度=1-H(X)/log r * * 输入信号 输出信号 条件概率 来描述信道输入输出信号之间统计的依赖关系。P称为转移概率矩阵 前向概率 后向概率 先验概率 后验概率 信道种类 1.无干扰信道 2.有干扰无记忆信道 3.有干扰有记忆信道 如果信道转移概率矩阵的每一行/每一列只包含一个1，其余都为0，则信道是无干扰离散息道，否则是有干扰信道 二进制对称信道（BSC） 强对称信道(均匀信道) C＝1+plog p +(1-p)log (1-p) 对于准对称DMC信道，当输入分布为等概分布时，互信息