信息论与编码第七章 有噪信道编码.ppt

第七章 有噪信道编码 白慧慧 办公地址：9号教学楼北605 Email: hhbai@bjtu.edu.cn 手机内容提要 一、信道编码和译码的基本概念 二、最大后验概率译码准则和极大似然译码准则 三、错误概率的计算方法 四、Fano不等式 五、错误概率与编码方法的关系 内容提要 一、信道编码和译码的基本概念 二、最大后验概率译码准则和极大似然译码准则 三、错误概率的计算方法 四、Fano不等式 五、错误概率与编码方法的关系 1. 信道模型 我们要尽可能的提高信息传输率，并控制传输误差。信源编码以提高传输效率作为主要考虑因素，信道编码以提高传输可靠性作为主要考虑因素。这一章讨论信道编码的一些基本概念及信道编码定理。 1. 信道模型 信道编码的编码对象是信源编码器输出的数字序列M，又称信息序列。通常由二元符号0,1构成的序列，且0,1是独立等概的。 信道编码：就是按照一定规则给数字序列M增加一些多余的码元，使不具有规律性的序列M变换为具有某种规律性的序列X，又称为码序列。 信道译码：在接收端，信道译码器利用这种预知的编码规则来译码，或者说检验接收到的数字序列Y中是否有错，或者纠正其中的差错。 信道总不可避免会搀杂噪声，所以信息在信道传输过程中，差错是不可避免的。选择合适的译码规则可以弥补信道的不足。 为了减少错误，提高通信的可靠性，就必须分析错误概率与哪些因素有关，有没有办法控制，能控制到什么程度。 前边已经讨论过，错误概率与信道的统计特性有关，但并不是唯一相关的因素，译码方法的选择也会影响错误率。 内容提要 一、信道编码和译码的基本概念 二、最大后验概率译码准则和极大似然译码准则 三、错误概率的计算方法 四、Fano不等式 五、错误概率与编码方法的关系 当输入符号为等概率时， 内容提要 一、信道编码和译码的基本概念 二、最大后验概率译码准则和极大似然译码准则 三、错误概率的计算方法 四、Fano不等式 五、错误概率与编码方法的关系 对上述例题求平均错误概率，如果上例中信源为等概分布，对其译码并求平均错误概率 内容提要 一、信道编码和译码的基本概念 二、最大后验概率译码准则和极大似然译码准则 三、错误概率的计算方法 四、Fano不等式 五、错误概率与编码方法的关系 设信道的输入与输出分别为X、Y，定义条件熵H(X/Y)为信道疑义度。它有如下含义： 信道疑义度表示接收到Y条件下X的平均不确定性； 根据I(X;Y)=H(X)-H(X/Y)，信道疑义度又表示X经信道传输 后信息量的损失； 接收的不确定性由信道噪声引起，在无噪情况，H(X/Y)=0。 证明：因为 而条件熵 故： 应用不等式 （1）费诺不等式给出了信道疑义度的上界，无论什 么译码规则，费诺不等式成立；译码规则变化只会改 变 的值； （2）信道疑义度的上界由信源、信道及译码规则所 限定；因为信源决定p(x)，r，而p(x)，p(y|x)及译码规 则决定 ； （3）如果H(X/Y) 0，那么 0； （4）不等式的物理意义可以这样来理解：当接收到Y后， 关于X平均不确定性的解除可以分成两步来实现：第1 步是确定传输是否有错，解除这种不确定性所需信息 量为 ；第2步是当确定传输出错后，究竟是哪一 个错，解除这种不确定性所需最大信息量是log(r-1)。 图为费诺不等式示意图： 图中，曲线下面的区域为信道疑义度被限定的区域。 信道疑义度不能超过区域边界的曲线。现求曲线所表示的 函数的极大值。 仅当 ， 时等式成立。 由于当 时，有 信道疑义度达到最大值的充要条件是，信道输入与输出统计独立。 内容提要 一、信道编码和译码的基本概念 二、最大后验概率译码准则和极大似然译码准则 三、错误概率的计算方法 四、Fano不等式 五、错误概率与编码方法的关系 4. Fano不等式物理意义 四、Fano不等式 五、错误概率与编码方法的关系 1. 重复编码 五、错误概率与编码方法的关系 1. 重复编码 * * 一、信道编码和译码的基本概念 一、信道编码和译码的基本概念 2. 单符号离散信道的数学模型 一、信道编码和译码的基本概