信息论与编码纠错第五章.pptVIP

第5章 有噪信道编码 ;内容提要;§5.1信道编码的基本概念 ;衡量信道传输快慢的指标是信息传输率，而衡量信息传输可靠性的指标是平均错误概率，平均错误概率与信道的统计特性有关。 要改变信道统计特性成本太大，所以可事先对信源编码器输出的符号序列按照某种规则进行编码，一般的方法是给信源序列加上一定的冗余度，这种编码称为信道编码，编好的代码称为码字，将码字送入信道传输，在信道的输出端，信道译码器根据编码规则对信道输出符号进行估值，尽量使这种估值接近输入码字。 ;【例】给定二元对称信道，信道固有错误概率为p（p 0.5）;信源输出序列为： ;【例】 逆重复码;（1）先设p = 0，计算这种编码方法带 来的固有错误p1。;假设8组输入序列是等概发送的，由于信道的对称性，两个估值序列也是等概分布的，则每个序列的平均错误概率为:;【例】 奇偶校验码;§5.2 译码规则及错误概率 ;一．最大后验概率译码准则;当估值 时，就产生了误码，用 表示后验概率，则收到 估错的错误概率为： ;根据概率关系式;【例】信源分布 ;(3) 再由 ;(5) 若按最大联合概率译码准则译码，在全概率矩阵[ p(xy)]中每列选一最大值（矩阵中带下划线的值），也可译出 ;二．极大似然译码准则 ;实际上，在信道输入等概率条件下，极大似然译码规则也是最佳的。 ;三．平均错误概率;【例】信源分布 ;平均错误概率： ;（2）当信源等概分布，按最大似然函数译码准则译码，已给出信道转移概率矩阵为 ;【例】考虑重复码，信源等概率分布，采用极大似然译码规则进行译码，并计算平均错误概率。 ;按极大似然译码准则译码，在矩阵的每列中选一最大值（带下划线的值），译码为： ;§5.3 信道编码定理及逆定理 ;2．pe exp{- nE (R)}，当n增大，则pe急剧减小；n→∞，pe→0； ;