第三章2信道容量.ppt

信道容量 信道的信息传输速率 如果信源熵为H(X)，希望在信道输出端接收的信息量也是H(X)，由于干扰的存在，一般只能接收到I(X;Y)。信道的信息传输率R(信道中平均每个符号所能传送的信息量)：就是平均互信息 R=I(X;Y)。 输出端Y往往只能获得关于输入X的部分信息，这是由于平均互信息性质决定的：I(X;Y)≤H(X)。 信道的信息传输速率 信道容量 信道容量C：信道中最大的信息传输率，单位是比特/信道符号。 单位时间的信道容量Ct：若信道平均传输一个符号需要 t 秒钟，则单位时间的信道容量为 C和Ct都是求平均互信息I(X;Y)的条件极大值问题，当输入信源概率分布p(xi)调整好以后， C和Ct已与p(xi)无关，而仅仅是信道转移概率的函数，也就是只与信道统计特性有关； 对于特定的信道，其信道容量C是确定的。信道容量是完全描述信道特性的参量；是信道能够传送的最大信息量。 几种特殊离散信道的信道容量 离散无噪信道的信道容量（三种无噪信道） 强对称离散信道的信道容量 对称离散信道的信道容量 准对称离散信道的信道容量 具有一一对应关系的无噪信道 信道模型如图 对应的信道矩阵是 具有一一对应关系的无噪信道 因为信道矩阵中所有元素均是“1”或“0”，X和Y有确定的对应关系： 已知X后Y没有不确定性，噪声熵 H(Y/X)=0； 反之，收到Y后，X也不存在不确定性，信道疑义度 H(X/Y)=0; 故有 I(X;Y)=H(X)=H(Y)。 当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量: 具有扩展性能的无噪信道 信道模型如图所示。 rs，输入X的符号集个数小于输出Y的符号集个数。其信道矩阵如下： 具有扩展性能的无噪信道—有噪无损 虽然信道矩阵中的元素不全是“1”或“0”，但由于每列中只有一个非零元素： 已知Y后，X不再有任何不确定度，信道疑义度 H(X/Y)=0， I(X;Y)= H(X) -H(X/Y)= H(X) 。 信道容量为 与一一对应信道不同的是，此时输入端符号熵小于输出端符号熵， H(X) H(Y)。 具有归并性能的无噪信道 信道模型如图所示。 rs，输入X的符号集个数大于输出Y的符号集个数。其信道矩阵如下： 具有归并性能的无噪信道—无噪有损 信道矩阵中的元素非“0”即 “1” ，每行仅有一个非零元素，但每列的非零元素个数大于1： 已知一个xi后，对应的yj完全确定，信道噪声熵H(Y/X)=0。 但是收到某一个yj后，对应的xi不完全确定，信道疑义度 H(X/Y)≠0。 信道容量为 这种信道输入端符号熵大于输出端符号熵，H(X)H(Y)。 注意：在求信道容量时，调整的始终是输入端的概率分布p(xi) ，尽管信道容量式子中平均互信息I(X;Y)等于输出端符号熵H(Y)，但是在求极大值时调整的仍然是输入端的概率分布p(xi) ，使得输出端的概率分布p(yj)达到最佳分布。 例题：下图信道的信道容量是C =H(Y)=log23=1.585(比特/信道符号)， 求要达到这一信道容量对应的信源概率分布。 由信道矩阵得 p(y1)= p(x1)×1+ p(x2)×1 p(y2)= p(x3)×1+ p(x4)×1 p(y3)= p(x5)×1 只要p(y1)= p(y2)= p(y3)= (1/3)，H(Y)达到最大值，即达到信道容量C。 此时使p(y1)= p(y2)= p(y3)= (1/3) 成立的信源概率分布{p(xi)},i=1,2,3,4,5存在，但不是惟一的。 这种信道的输入符号熵大于 输出符号熵，即H(X) H(Y)。 结 论 具有一一对应关系的无噪信道的信道容量： 具有扩展性能的无噪信道的信道容量： 具有归并性能的无噪信道的信道容量： 结论：离散无噪信道的信道容量C只决定于信道的输入符号数r，或输出符号数s，与信源无关。 强对称离散信道 单符号离散信道的X和Y取值均由r个不同符号组成，即 X∈{x1,x2,…,xi,…,xr}，Y∈{y1,y2,…,yj,…,yr} 信道矩阵为 这种信道称为强对称/均匀信道。 这类信道中：总的错误概率是p，对称平均地分配给(r-1)个输出符号。 信道矩阵中每行之和等于1，每列之和也等于1。而一般信道矩阵中，每列之和不一定等于1。 强对称信道矩阵特点 强对称信道矩阵，它的每一行和每一列都是同一集合各个元素的不同排列。 由平均互信息定义： H(Y/X=x)的意义：是固定X=xi时对Y求和，相当于在信道矩阵中选定了某一行，对该行上各列元素的