第6章 有噪信编码.ppt

第6章 有噪信道编码 第一节 错误概率与译码规则 第二节 错误概率与编码方法 第三节 有噪信道编码定理 第四节 联合信源信道编码定理 第六节 纠错编码的基本思想 第七节 常用编码方法 第五章 有噪信道编码 前一章已经从理论上讨论了，对于无噪无损信道只要对信源进行适当的编码，总能以信道容量无差错的传递信息。但是一般信道总会存在噪声和干扰，那么在有噪信道中进行无错传输可以达到的最大信息传输率是多少呢？这就是本章所要讨论的问题。本章的核心是香农第二定理。 第一节 错误概率与译码规则 为了减少错误，提高通信的可靠性，就必须分析错误概率与哪些因素有关，有没有办法控制，能控制到什么程度。 前边已经讨论过，错误概率与信道的统计特性有关，但并不是唯一相关的因素，译码方法的选择也会影响错误率。 第一节 错误概率与译码规则 例：有一个BSC信道，如图所示 0 1 0 1 1/3 1/3 2/3 2/3 若收到“0”译作“0”，收到“1”译作“1”，则平均错误概率为： 反之，若收到“0”译作“1”，收到“1”译作“0”，则平均错误概率为1/3，可见错误概率与译码准则有关。 第一节 错误概率与译码规则 我们来定义译码准则： 输入符号集 输出符号集 译码规则 例： 第一节 错误概率与译码规则 译码规则的选择应该有一个依据，一个自然的依据就是使平均错误概率最小 有了译码规则以后，收到 的情况下，译码的条件正确概率为： 可以设计译码准则：A： 和B： 第一节 错误概率与译码规则 而错误译码的概率为收到 后，推测发出除了 之外其它符号的概率： 可以得到平均错误译码概率为： 它表示经过译码后平均每收到一个符号所产生错误的大小，也称平均错误概率。 第一节 错误概率与译码规则 下面的问题就是如何选择 ，经过前边的讨论可以看出，为使 最小，就应选择 为最大，即选择译码函数 并使之满足条件： 也就是说，收到一个符号以后译成具有最大后验概率的那个输入符号。这种译码准则称为“最大后验概率准则”或“最小错误概率准则”。 根据贝叶斯定律，上式也可以写成 第一节 错误概率与译码规则 即： 当信源等概分布时，上式为： 这称为最大似然译码准则，方法是收到一个 后，在信道矩阵的第 j 列，选择最大的值所对应的输入符号作为译码输出。 可进一步写出平均错误概率： 第一节 错误概率与译码规则 也可写成： 上式也可写成对行求和： 是某个输入符号P(ai)传输所引起的错误概率。 如果先验概率相等，则： 第一节 错误概率与译码规则 例： 根据最大似然准则可选择译码函数为B： 第一节 错误概率与译码规则 若采用前边讲到的译码函数A，则平均错误率为： 若输入不等概分布，其概率分布为： 第一节 错误概率与译码规则 若采用最小错误概率译码准则，则联合矩阵为： 所得译码函数为：C： 平均错误率为： 第二节 错误概率与编码方法 一般信道传输时都会产生错误，而选择译码准则并不会消除错误，那么如何减少错误概率呢？下边讨论通过编码方法来降低错误概率。 0 1 0 1 0.99 0.99 0.01 0.01 例：对于如下二元对称信道 第二节 错误概率与编码方法 如何提高信道传输的正确率呢？可以尝试用下面的方法 没有使用的码字 001 010 011 100 101 110 用作消息的码字 000 111 输出端接收序列 000 001 010 011 100 101 110 111 二元对称信道的三次扩展信道 第二节 错误概率与编码方法 则： 根据最大似然译码准则，可得译码函数为： F(000)=000 F(001)=000 F(010)=000 F(011)=111 F(100)=000 F(101)=111 F(110)=111 F(111)=111 此时，译码可以采用“择多译码”，即根据接收序列中0多还是1多，0多就判作0，1多就判作1。错误概率降低了两个数量级，这种编码可以纠正码字中的一位码元出错。若重复多次可进一步降低错误率 第二节 错误概率与编码方法 但是又出现了一个新的问题，n很大时，信息传输率会降低很多， 在上例中：M=2 当n=1时 R=1 当n=3时 R=1/3 当n=5时 R=1/5 ...... 第二节 错误概率与编码方法 这显然是一个矛盾，有没有解决的办法呢？香农第二定理可