信息论基础与编码 教学课件 作者 王军选 田小平 曹红梅 06章.ppt

第六章 信道编码定理 6.1基础知识 6.2信道编码定理 6.3信源信道联合编码定理 6.1基础知识 最大后验概率译码准则是最小平均误码率的最优准则，其次是最大似然概率准则，这些都是常用的译码准则。掌握译码准则和费诺不等式、典型序列的基础概念有助于对信道编码的理解。 6.1基础知识 6.1.1译码准则 6.1.2费诺不等式 6.1.3?典型序列及其性质 6.1.1译码准则 1．最大后验概率准则 平均误码率： (6-1) 6.1.1译码准则 例6-1：假设有一个BSC信道，如图6-1所示，在发送端信息等概发送时，试求一种译码算法使得平均概率最小。 6.1.1译码准则 解：（1）若收到“0”译作“0”，收到“1”译作“1”，则平均错误概率为 （2）若收到“0”译作“1”，收到“1”译作“0”，则平均错误概率为 6.1.1译码准则 定义译码准则的相关参数：输入符号集 ， ，输出符集 ， ：译码规则 。 在推导中我们借用下面的信道参数来进行分析，此例中i=j=3，假设转移矩阵为 则可以设计2种译码准则。 A准则： B准则： 6.1.1译码准则 在确定了译码规则以后，收到 的情况下，译码的条件正确概率为: 而错误译码的概率为收到 后，推测发出除了 之外其他符号的概率。 可以得到平均错误译码概率为 信道译码的关键问题就是如何选择 ，经过前边的讨论可以看出，为使 最小，就应选择 为最大，即选择译码函数 并使之满足下列条件。 6.1.1译码准则 2．最大似然概率准则 根据Bayes公式 我们可以得到 6.1.1译码准则 3．离散无记忆信道的译码 对于离散无记忆信道（DMC）有 由于对数函数为单调函数，故可将其改写为对数函数形式。 6.1.1译码准则 似然函数可以进一步改写为 其中： 为r和c之间的汉明距离。 6.1.1译码准则 4．高斯白噪声信道的译码 对于均值为0，双边功率谱密度N0/2高斯白噪声信道 6.1基础知识 6.1.1译码准则 6.1.2费诺不等式 6.1.3?典型序列及其性质 6.1.2费诺不等式 费诺不等式：平均错误概率 与信道疑义度 满足以下关系。 6.1.2费诺不等式 6.1基础知识 6.1.1译码准则 6.1.2费诺不等式 6.1.3?典型序列及其性质 6.1.3?典型序列及其性质 1．??典型序列 则它的N次扩展信源为 ，且有 6.1.3?典型序列及其性质 定义：N长的序列，对于任意小的正数，满足 6.1.3?典型序列及其性质 典型序列的意义：N次扩展信源分为两大类，一类为高概率集合，即经常出现的序列，称作??典型序列，当 时这类序列出现的概率为1，且每个序列的概率分布接近于等概分布；另一类为低概率集合，称作非??典型序列，当 时这类序列出现的概率为0。 6.1.3?典型序列及其性质 2．联合??典型序列 6.1.3?典型序列及其性质 如果假设x，y是典型序列，则对任意小的正数??有 6.1.3?典型序列及其性质 如果用 分别表示集合 的大小，对于任意小的正数 ，可以证明它们满足 6.1.3?典型序列及其性质 在对x典型序列进行编码的时候希望输出的y序列之间没有重合。如果对y典型序列的进行不同子集的划分，而且各个子集没有重复，假设不同x典型序列传输后能够对应不同的y典型序列，根据判决准则就可以完全无误地检测出发送信息。 对于在给定ε典型序列x的条件下，与x构成联合典型序列的y典型序列集合的大小满足： 。 因此对于y典型序列的进行不同子集的大小应该满足此条件，所以，y典型序列可以划分的子集合的数目就小于等于