6章 信道编码.ppt

信道编码定理 错误概率 译码准则 编码方法 信道编码定理 噪声信道的编码问题 在二进制数字通信系统中，编码器的编码过程分为两步： 信源编码：把信源的消息数据序列编成二进制数字构成的码序列； 信道编码：把二进制数据序列编成具有纠检错能力的二进制序列。 由于信源编码在构造上并未考虑抗干扰，如果把信源编码器的输出直接接入信道，由于信道中存在噪声干扰，将引起误码，降低通信可靠性。 因此提出了以提高通信可靠性为主要目的的信道编码，它是对信源编码器输出的最佳码再进行一次编码，以提高其抗干扰能力的一种编码形式。 信道编码研究消息通过信道传输时如何选择编码方案以减少差错。 信道编译码的基本思想 信道编码的编码对象是信源编码器输出的数字序列M，又称为信息序列。通常是由二元符号0，1构成的序列，而且符号0和1是独立等概的。 信道编码，就是按一定的规则给数字序列M增加一些多余的码元，使不具有规律性的信息序列M变换为具有某种规律性的数字序列C，又称为码序列。码序列中信息序列码元与多余码元之间是相关的。 在接收端，信道译码器利用这种预知的编码规则来译码，或者检错(检验接收到的数字序列R中是否有错)，或者纠错(纠正其中的差错)。 信道编码的基本思想是就是根据相关性来检测和纠正传输过程中产生的差错。 错误概率及相关因素 与以下三个因素有关： 信道特性 译码规则 编码方法 信道统计特性 无噪无损信道：错误概率0 P=0.5的二元对称信道：错误概率50% 译码规则 “译码规则”：设计一个函数 ，对于每一个输出符号 ，确定唯一的输入符号 与之对应 对于上面的无噪无损信道 错误概率为0 错误概率为1 译码规则 二元对称信道，由于信道中有一个反相器 错误概率为0.99 错误概率下降为0.01 译码规则 对于一个 的传递矩阵，译码规则共有 种 在这么多种译码规则中，我们选择哪一种? 选择的标准是什么？在评定译码规则的优劣以前，首先必须定量描述错误概率 译码规则 对于确定 ，制定译码函数 译码正确的概率是 译码错误的概率是 称为条件错误概率 因为输出信号是个随机变量， 只是其中一个符号 定义平均错误概率 译码规则 称为正确概率 等概率情况下 可以不直接求 ，而是先算 ，然后用 最小错误概率准则 平均错误概率定义后，一个很自然的准则就是使平均错误概率最小，即最小错误概率准则 平均错误概率是一个求和式，每一项都是非负的如果每一项都为最小，则整个求和式最小 求和式的每一项 其中 与译码规则无关 使 最小，就是要使 最大 最小错误概率准则 贝叶斯定律 最大后验概率准则的条件式可以写成 最大似然准则 输入符号等概率分布时，最大后验概率准则变成了 称为最大似然准则 最大似然准则不再依赖于输入符号的先验概率。在先验概率等概率分布时，最大似然准则与最大后验概率准则一致；在输入非等概率分布时，最大似然准则并不一定能使 最小 所以，最大似然准则不是最佳译码规则 译码规则的选取 最大后验概率准则依赖 最大似然准则仅依赖 先验概率等概率分布，使用最大后验概率准则和最大似然准则是一致的 如果知道先验概率，应该使用最大后验概率准则 如果不知道先验概率，则只能用最大似然准则 译码规则－例 例：信道的传递概率矩阵 求译码规则和平均错误概率 1.输入等概率时 2. 3. 用最大似然准则 译码规则－例 1.等概率分布时，用最大似然准则，等效于最大后验概率准则。对于传递矩阵中的每一列，选一个最大的传递概率，对应的输入符号即为该输出符号的译码函数 译码规则－例 2.已知输入概率分布，用最大后验概率准则，求联合概率 译码规则－例 3.非等概率分布，但是规定要用最大似然准则 可见在输入非等概率分布时，最大似然准则并不一定是最佳译码规则 费诺不等式 译码时发生错误是由信道中噪声引起，因此平均错误概率与信道疑义度H(X|Y)有关，其关系由费诺不等式表示。 译码平均错误概率与信道疑义度H(X|Y)间满足以下关系 　这个不等式称为费诺不等式。 费诺不等式的物理意义 虽然PE与译码规则有关，但不管采用什么译码规则费诺不等式均成立。 费诺不等式表示，当作了一次译码判决后所保留的关于信源的不确定性可以分成两部分： H(PE)和PE log(n-1)。 第二部分是当判决是错误的，其错误概率为PE　时，到底是n-1个输入符号中哪一个引起错误的最大不确定性，它是(n-1)个符号不确定性的最大值log