信息论与编码 第六章2.ppt

信息论与编码 - 最优译码和最大似然译码 ? 最优译码和最大似然译码 信道的输入是一个二（或 q ）进制序列，而 译码器的输出时一个信息序列 M 的估值序 ? 。如下图所示。 列 M 译码器的基本任务就是根据一套译码规则， 由接收序列 R 给出与发送的信息序列最接 ? 近（最好是相同）的估值序列 M 信息论与编码 - 最优译码和最大似然译码 分组码数字通信模型 { M } { C } ( m 0 , m 1 ,..., m k ? 1 ) ( c 0 , c 1 , ? , c N ? 1 ) 纠错编码器 { R } ( r 0 , r 1 , ? , r N ? 1 ) ? } { M ? 0 , m ? 1 ,..., m ? k ? 1 ) ( m 信道 纠错译码器 信源编码器输出 至信宿 干扰源 信息论与编码 - 最优译码和最大似然译码 ? 由于 M 与码字 C 之间存在一一对应关系，所以 这等价于译码其根据 R 产生一个 C 的估值序 ? ， 列 C ? ? C ? C M ? 显然，当且仅当 时， ? M 。这时译码器 正确译码。 ? ? C ，则译码器产生错误译码。 ? 如果 C ? 当给定接收序列 R 时，译码器的条件译码错误 概率定义为 ? ? C / R ) P ( E / R ) ? P ( C 信息论与编码 - 最优译码和最大似然译码 ? 所以译码器的错误译码概率为 P E ? ? R P ( E / R ) p ( R ) 其中， p ( R ) 是接收 R 的概率，与译码方法无关， ? 译码错误概率最小的最佳译码规则是使 P E 最 小，即 ? ? C / R ) min P E ? min P ( E / R ) ? min P ( C 信息论与编码 - 最优译码和最大似然译码 ? ? C / R ) ? max P ( C ? ? C / R ) min P ( C 而 因此，如果译码器对输入的 R ，能在 2 个码字中 k ? 选择一个使 P ( C i ? C / R )( i ? 1 , 2 , ? , 2 ) 最大的码 ? ，即 字 C i 作为 C 的估值序列 C ? ? max p ( C / R ) C i i k 则这种译码规则一定能使译码器输出错误概率 最小，称这种译码规则为 最大后验概率译码 MAP (maximum aposteriori), 也叫做最佳译码。 是一种通过经验与归纳由收码推测发码的方法， 是最优的译码方法。 信息论与编码 - 最优译码和最大似然译码 由贝叶斯公式 p ( C i ) p ( R / C i ) p ( C i / R ) ? p ( R ) 可知，如果发送端发送每一个码字的概率 p ( C i ) 均 相同 , 且 p (R) 对所有 R 也相等（信道对称均衡）， 则有 i ? 1 , 2 , ? , 2 max p ( C i / R ) ? max p ( R / C i ) k i ? 1 , 2 , ? , 2 k 信息论与编码 - 最优译码和最大似然译码 ? 一个译码器如果能选择 ? ? C i i ? 1 , 2 , ? , 2 k max p ( R / C i ) 即在已知 R 的情况下使先验概率最大，则 这种译码规则称为 最大似然译码 （ ML(MLD) ： Maximum Likelihood) ， p ( R / C i ) 称为 似然函数 。相应的译码器称 为最大似然译码器。 信息论与编码 - 最优译码和最大似然译码 ? 由于 log x 与 x 是单调关系，因此最大似然 规则也可以写成 i ? 1 , 2 , ? , 2 max k log p ( R / C i ) ? max i ? 1 , 2 , ? , 2 k ? log p ( r j ? 1 N j / c ij ) 称 log p (R/C) 为 对数似然函数 。 信息论与编码 - 最优译码和最大似然译码 对于 DMC 信道，如果发送端发送每一个码 字的概率 p ( C i ) 相等，则一般可认为 MLD 就是译码错误概率最小的一种最佳 译码规则。 由于最佳译码要求知道后验概率 p(R/C) ，这 在很多时候是很困难的，所以经常使用 的是最大似然译码，在很多情况下，可 以认为最大似然译码就是最佳译码。 信息论与编码 - 最优译码和最大似然译码 对于 BSC 信道，在译码的时候，如果我们逐比 特地比较发码和收码，就只有两种可能性： 相同或者不同，其概率分别是： c ij ? r j 时 ? p p ( r j / c ij ) ? ? 1 ? p c ? r 时 ij j ? 信息论与编码 - 最优译码和最大似然译码 如果 R 中有 d 个码元与 C i