5 有噪信道编码及其定理幻灯片.ppt

第五章 有噪信道编码 5.1 错误概率和译码规则 第五章 有噪信道编码 前一章已经从理论上讨论了，对于无噪无损信道只要对信源进行适当的编码，总能以信道容量C无差错的传递信息。但是一般信道总会存在噪声和干扰，那么在有噪信道中进行无错传输可以达到的最大信息传输率是多少呢？怎么使有噪信道中消息传输错误达到最少?这就是本章所要讨论的问题。本章的核心是香农第二定理。 第五章 有噪信道编码 我们要尽可能的提高信息传输率，并控制传输误差。信源编码以提高传输效率作为主要考虑因素，信道编码以提高传输可靠性作为主要考虑因素。这一章讨论信道编码的一些基本概念及信道编码定理 本章介绍了信道编码和译码的基本概念，介绍了两种常用的译码准则：最大后验概率译码准则和最大似然译码准则,还介绍了在这两种译码准则下错误概率的计算方法。还介绍了信道编码定理及信道编码逆定理，以及信息论中的一个重要不等式Fnao不等式。 5.1 错误概率和译码规则 错误：译码输出≠信源输出 产生原因：噪声干扰 研究目的：减少错误，提高可靠性 研究途径：信道的传递矩阵→信道统计特性→错误概率 为了减少错误，提高通信的可靠性，就必须分析错误概率与哪些因素有关，有没有办法控制，能控制到什么程度。 5.1 错误概率和译码规则 我们知道错误概率与信道的统计特性有关，信道的统计特性由信道的传递矩阵来描述。 当确定了输入和输出对应关系后，也就确定了信道矩阵中哪些是正确传递概率，哪些是错误传递概率。 在二元对称信道错误传递概率是p，正确的传递概率就是 。 5.1 错误概率和译码规则 但是，通信过程一般并不是在信道输出端就结束了，还要经过译码(或判决)过程才到达消息的终端(收信者)。因此译码过程和译码规则对系统的错误概率影响很大。 下面举例说明，有一个BSC信道，如图所示 5.1 错误概率和译码规则 若译码规则为收到“0”译作“0”，收到“1”译作“1”，则平均错误概率为（假设输入等概分布）： 反之，若收到“0”译作“1”，收到“1”译作“0”，则平均错误概率为1/3，译错的可能性为1/3，而译对的可能性增大了，为2/3，可见错误概率与信道的统计特性有关，也与译码规则有关。 5.1 错误概率和译码规则 下面来定义译码规则，设离散单符号信道： 输入符号集为 输出符号集为 制定译码规则就是定义一个单值函数 它对于每一个输出符号 确定一个惟一的输入符号 与其对应。 例 A： B: 5.1 错误概率和译码规则 由于s个输出符号中的每一个都可以译成r个输入符号中的任何一个，所以共有rs种译码规则可供选择。 译码规则的选择应该有一个依据，一个自然的依据就是使平均错误概率最小。 若信道输出端接收到的符号为bj，则译为ai 若发送端发送的是ai则为正确译码；否则为错误译码。 5.1 错误概率和译码规则 定义收到bj条件下译码的条件正确概率为： 收到bj条件下译码的条件错误概率P(e|bj)，是发送端发送除ai外的其他信源符号的概率。它与条件正确概率之间关系为： P(e | bj)= 1- P(F(bj) | bj) 对条件错误概率P(e|bj)取平均值，得平均错误概率 如何设计译码规则 使PE最小呢？ 5.1 错误概率和译码规则 因为 与译码规则无关，只要使条件错误概率P(e|bj)最小，就要选择P(F(bj) | bj) 为最大。即选择译码函数： 并满足 就是把每个输出符号均译成具有最大后验概率的那个输入符号，使信道错误概率最小。 这种译码规则称为“最大后验概率准则”或“最小错误概率准则”。 5.1 错误概率和译码规则 通常信道的传递概率P(bj|ai)与输入符号的先验概率P(ai) 已知，根据贝叶斯定律，有： 即 当信源等概分布时，可选择译码函数 并满足 这样定义的译码规则称为最大似然译码准则。 5.1 错误概率和译码规则 最大似然译码准则的方法是收到一个 后，在信道矩阵的第j列，选择最大的值所对应的输入符号作为译码输出。 最大似然译码准则本身不再依赖于先验概率 P(ai) 。但当先验概率为等概率分布时，它使错误概率PE最小。 5.1 错误概率和译码规则 平均错误概率的计算 平均正确概率为 5.1 错误概率和译码规则 也可写成： 其中求和符号 表示对输入符号集A中除 以外的所有元素求和。 上式的平均错误概率是在联合概率矩阵 中先求每列除去 所对应的 以外所有元素之和，然后再对各列求和。 5.1 错误概率和译码规则 如果先验概率等概分布，有 则