第四章离散信道容量选读.ppt

练习题：有噪声的打字机信道 考虑有26个键的打字机 1）如果每敲击一个键，它就准确输出成相应的字符，那么该容量C为多少？ 2）如果假设敲击一个键都会导致输出该键对应的字母或者下一个字母等概论出现，即敲A可能输出A或者B，┄敲Z可能输出Z或者A，那么此时的容量如何？ * 复习数学知识 * 4.2.3离散信道容量的一般计算法 信道容量的求解为一个多元函数求约束极值的问题。 信道转移矩阵为 例：求信道输入最佳分布和信道容量C。 　　解 观察信道转移矩阵可知，该信道不是对称的，信道的输入、 输出符号数量都为2，假设信道输入符号的概率分别为p，1－p，可以得到平均互信息量。 　　根据假设的信道输入的概率分布，求出信道输出概率分布p(bj)： 　　　　　p(b1)=0.9p+0.2(1－p)=0.2 + 0.7p 　　　　　p(b2)=0.1p+0.8(1－p)=0.8－0.7p * 4.2.3离散信道容量的一般计算法 输入、 输出之间的平均互信息量为： 将相关参数代入上述计算公式，得到： * 4.2.3离散信道容量的一般计算法 对I(X;Y)求导，得到最佳分布 得到，p=0.532，所以信道容量为 　　　　　　C=maxI(X;Y)=0.415 比特/符号 从该例可以看出，即使是简单的非对称二元信道，其最佳分布的求解也十分复杂，所以一般离散信道的信道容量的求解通过计算机进行。 下面讨论一般离散信道的解法。 * 4.2.3离散信道容量的一般计算法 　　平均互信息量I(X;Y)是输入概率分布p(ai)的凸函数，所以极大值是一定存在的。 假设信道输入的符号数量为n，那么I(X;Y)应当是r个随机变量(p1，p2，…，pn) 的函数，而且满足约束条件　　　　，该多元函数的条件极值可以利用拉格朗日乘法求出。 　　(1) 首先引入函数 其中，λ为拉格朗日乘子。 * 4.2.3离散信道容量的一般计算法 　　(2) 对信道输入概率p(ai)求导数，并令其为0。 解方程组可以求出最佳概率分布 和λ。 (3) 将最佳分布代入I(X;Y)，即可求出信道容量C。 而p(bj)可以表示为 * 4.2.3离散信道容量的一般计算法 故关键是求第一项 我们将这项展开看看哪部分和求偏导有关 * 4.2.3离散信道容量的一般计算法 * 4.2.3离散信道容量的一般计算法 第二块分步求 （1）将 看作常数，对前面的求偏导 （2）将 看作常数，对 求偏导 * 4.2.3离散信道容量的一般计算法 带入合并得： 给定 后验概率为1 故 * 4.2.3离散信道容量的一般计算法 结论 * 4.2.3离散信道容量的一般计算法 假设信道输入的最佳分布为(p1，p2，…，pn)，将方程组的两边同时乘以各自的概率p(ai)，并且两边同时对i求和，从而得到信道容量为　　　　　　　　C=λ+loge λ仍然为待定的系数，但我们找到一些规律 将 来分析 其中 * 4.2.3离散信道容量的一般计算法 加上前面一个加权 规律：信源处于最佳分布时，由输出端观察，每一个符号的信息量都是一样的。 * 4.2.3离散信道容量的一般计算法 　　定理 设有一般离散信道，它有n个输入符号，m个输出符号，其平均互信息I(X;Y)达到极大值(即等于信道容量)的充要条件是输入概率分布p(ai)满足(其中i=1，2，…，n) 对所有p(ai)≠0的ai 对所有p(ai)=0的ai 常数C就是所求的信道容量。 * 4.2.3离散信道容量的一般计算法 求该信道的容量C和信道输入的最佳概率分布。 　　解 该信道不是对称信道，所以不能直接使用对称信道计算其信道容量。 但是通过观察发现，如果信道输入符号的概率p(a2)=0，该信道就是一个二元纯对称删除信道。 这样就 可以假设p(a2)=0，p(a1)=p(a3)=1/2，然后检查是否满足上述定理条件，如果满足就可以计算出信道容量。 例 * 4.2.3离散信道容量的一般计算法 首先根据假设求出相应的p(bj) 然后计算互信息量I(ai;Y) 比特/符号 比特/符号 比特/符号 * 4.2.3离散信道容量的一般计算法 显然该输入概率分布满足定理的条件，所以信道容量为C=0.9，对应的信道输入最佳概率分布为(0.5，0，0.5)。 定理给出了达到信道容量C时，输入符号概率分布所要满足的充要条件，并未给出具体值。一般情况下，最佳分布不是唯一的，只需满足定理，并试交互熵最大即可。 * 4.3 多符号离散信道的信道容量 4.3.1 多符号离散信道容量的数学模型