信息论与编码信道及其容量.pptVIP

例3-6求信道容量这类信道由于要求信道转移矩阵的逆存在，它必然要求信道输入输出具有相同数量的元素。即n＝m，P为方阵，且为正则方阵。具有可逆矩阵信道的信道容量为3.4.4*具有可逆矩阵信道为使I(X;Y)最大化以便求取DMC容量，输入概率集{p(xi)}必须满足的充分和必要条件是：I(xi;Y)＝C，对于所有满足p(xi)＞0条件的i；I(xi;Y)≤C，对于所有满足p(xi)＝0条件的i。当信道平均互信息达到信道容量时，输入符号概率集{p(xi)}中每一个符号xi对输出端Y提供相同的互信息，只是概率为零的符号除外。以上约束条件只是给出充分必要条件，但是并没有给出具体值。因此还需要采用计算机迭代的方法求解，一般情况下，最佳输入概率分布不一定是唯一的。3.4.5*一般DMC信道3.5离散无记忆序列信道的信道容量定义：多符号离散信源矢量=X1X2…XL在L个不同时刻分别通过单符号离散信道{X，P(Y|X)，Y}，则在输出端出现相应的随机序列=Y1Y2…YL，这样形成一个新的信道称为离散序列信道{}。由于新信道相当于单符号离散信道在L个不同时刻连续运用了L次，所以也称为单符号离散信道{XP(Y|X)Y}的L次扩展。假设信道输入序列为，输出序列，由于无记忆，可得相应转移条件概率为离散无记忆序列信道的数学模型如下：无记忆离散序列信道的输入矢量X的可能取值有个，而输出矢量Y的可能取值有个。其信道转移矩阵为：对于离散序列信道，可以证明：上式在信源无记忆时等号成立。要极大传输信息，以上结论对于我们有什么启示？在编码中有什么应用？理解：如果信源有记忆，信道传递的信息必然存在冗余度，这使得整体传递的信息量减少。当信道无记忆的时候有当输入矢量的各个分量独立（信道不一定无记忆）时候有理解：如果信道有记忆，输出端接收到的符号序列中，后面收到的符号带有前面符号的信息，可以将相关的符号作为一个整体编码来获取关于发送的序列的信息，这种整体的编码使得我们可以获得输入符号序列的更多信息。上式在信道无记忆时等号成立。这对于纠错编码具有什么启示？如果信道无记忆，并且输入矢量的各个分量独立（信源也无记忆）的时候有1对于离散无记忆序列信道，信道容量等于平均互信息量的最大值，所以2所以，离散平稳无记忆N个符号的序列信道的信道容量等于单个符号的信道容量的N倍。信源无记忆时，信息传输率才能达到信道容量。例3-7BSC信道的转移概率矩阵为求BSC二次扩展信道？01解：对应的转移概率矩阵：02是一个对称DMC信道，当输入序列等概分布时，容量为：0301串联信道及其信道容量022*并联信道及其信道容量3.6串联信道和并联信道的信道容量3.6.1串联信道及其信道容量消息具有非增性，串接的信道越多，其信道容量可能会越小，当串接信道数无限大时，信道容量就有可能趋于零。例3-8现在有两个信道串联，转移概率矩阵如下：例3-9二进制对称信道转移概率矩阵如下：即串联信道的平均互信息量信道容量要低于其中的任意一段，以及其中的一部分的信道容量。以此可以得出串联信道的信道容量也满足不增性。无干扰（无噪）信道由于没有噪声，所以输入可以决定输出，即存在确定的函数f，Y=f(X)。输入单符号变量X，取自符号集A={a1，a2，…，ar}；01输出单符号变量Y，取自符号集B={b1，b2，…，bs}；02由于信道的干扰使输入符号x在传输中发生错误，这种错误是随机发生的，所以可以用条件概率（转移概率）来表示噪声的干扰：p(y|x)=P(y=bj|x=ai)=p(bj|ai)；03单符号离散信道12单个符号的离散信道的转移概率通常用信道转移概率矩阵表示：一般为了简化，记pij=p(bj|ai)，则信道转移概率矩阵可以表示为12二元对称信道(BSC)信道无记忆指的是输出只与当前输入有关，而与非该时刻的输入信号、输出信号都无关。离散无记忆信道(DMC)有干扰无记忆信道有以下性质：有干扰无记忆离散信道在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。由于有记忆信道的转移概率计算涉及到太多的参数，因此对它的分析和计算更加复杂。提倡采用两种方法进行简化处理：将记忆性较强的N个符号当作一个N维矢量进行整体的处理，而各个矢量之间当作无记忆的。把信源序列的转移概率当作马尔可夫链的形式，即假设信道为有限记忆的。以上方法都是进行了简化和