2信道容量完整版.pptx

2024/11/41/64信道的信息传输速率如果信源熵为H(X)，希望在信道输出端接收的信息量也是H(X)，由于干扰的存在，一般只能接收到I(X;Y)。信道的信息传输率R(信道中平均每个符号所能传送的信息量)：就是平均互信息R=I(X;Y)。输出端Y往往只能获得关于输入X的部分信息，这是由于平均互信息性质决定的：I(X;Y)≤H(X)。

2024/11/42/64I(X;Y)是信源输入概率分布p(xi)和信道转移概率p(yj/xi)的二元函数：当信道特性p(yj/xi)固定后，I(X;Y)随信源概率分布p(xi)的变化而变化。调整p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已知，I(X;Y)是p(xi)的上凸函数，因此总能找到一种概率分布p(xi)（即某一种信源），使信道所能传送的信息率为最大。信道的信息传输速率

2024/11/43/64信道容量信道容量C：信道中最大的信息传输率，单位是比特/信道符号。单位时间的信道容量Ct：若信道平均传输一个符号需要t秒钟，则单位时间的信道容量为C和Ct都是求平均互信息I(X;Y)的条件极大值问题，当输入信源概率分布p(xi)调整好以后，C和Ct已与p(xi)无关，而仅仅是信道转移概率的函数，也就是只与信道统计特性有关；对于特定的信道，其信道容量C是确定的。信道容量是完全描述信道特性的参量；是信道能够传送的最大信息量。

2024/11/44/64几种特殊离散信道的信道容量离散无噪信道的信道容量（三种无噪信道）强对称离散信道的信道容量对称离散信道的信道容量准对称离散信道的信道容量

2024/11/45/64具有一一对应关系的无噪信道信道模型如图对应的信道矩阵是无噪无损信道

2024/11/46/64因为信道矩阵中所有元素均是“1”或“0”，X和Y有确定的对应关系：已知X后Y没有不确定性，噪声熵H(Y/X)=0；反之，收到Y后，X也不存在不确定性，信道疑义度H(X/Y)=0;故有I(X;Y)=H(X)=H(Y)。当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量:具有一一对应关系的无噪信道

2024/11/47/64具有扩展性能的无噪信道信道模型如图所示。rs，输入X的符号集个数小于输出Y的符号集个数。其信道矩阵如下：有噪无损信道

2024/11/48/64虽然信道矩阵中的元素不全是“1”或“0”，但由于每列中只有一个非零元素：已知Y后，X不再有任何不确定度，信道疑义度H(X/Y)=0，I(X;Y)=H(X)-H(X/Y)=H(X)。信道容量为与一一对应信道不同的是，此时输入端符号熵小于输出端符号熵，H(X)H(Y)。具有扩展性能的无噪信道—有噪无损

2024/11/49/64具有归并性能的无噪信道信道模型如图所示。rs，输入X的符号集个数大于输出Y的符号集个数。其信道矩阵如下：无噪有损信道

2024/11/410/64信道矩阵中的元素非“0”即“1”，每行仅有一个非零元素，但每列的非零元素个数大于1：已知一个xi后，对应的yj完全确定，信道噪声熵H(Y/X)=0。但是收到某一个yj后，对应的xi不完全确定，信道疑义度H(X/Y)≠0。信道容量为这种信道输入端符号熵大于输出端符号熵，H(X)H(Y)。注意：在求信道容量时，调整的始终是输入端的概率分布p(xi)，尽管信道容量式子中平均互信息I(X;Y)等于输出端符号熵H(Y)，但是在求极大值时调整的仍然是输入端的概率分布p(xi)，使得输出端的概率分布p(yj)达到最佳分布。具有归并性能的无噪信道—无噪有损

2024/11/411/64例题：下图信道的信道容量是C=H(Y)=log23=1.585(比特/信道符号)，求要达到这一信道容量对应的信源概率分布。由信道矩阵得p(y1)=p(x1)×1+p(x2)×1p(y2)=p(x3)×1+p(x4)×1p(y3)=p(x5)×1只要p(y1)=p(y2)=p(y3)=(1/3)，H(Y)达到最大值，即达到信道容量C。此时使p(y1)=p(y2)=p(y3)=(1/3)成立的信源概率分布{p(xi)},i=1,2,3,4,5存在，但不是惟一的。这种信道的输入符号熵大于输出符号熵，即H(X)H(Y)。

2024/11/412/64结论具有一一对应关系的无噪信道的信道容量：具有扩展性能的无噪信道的信道容量：具有归并性能的无噪信道的信道容量：结论：离散无噪信道的信道容量C只决定于信道的输入符号数r，或输出符号数s，与信源无关。

2024/11