信息论基础 教学课件 作者 田宝玉 杨洁 贺志强 王晓湘 chapter7.ppt

第7章  有噪信道编码 本章主要内容： 1.概述 2.最佳判决与译码准则 3.信道编码与最佳译码 4.费诺（Fano）不等式 5.有噪信道编码定理 6.纠错编码技术简介 7.信道编码性能界限 §7.1 概述 信道编码：就是按一定的规则给信源输出序列增加某些冗 余符号，使其变成满足一定数学规律的码序列（或码字） ，再经信道进行传输。（提高传输的可靠性） 信道译码：就是按与编码器同样的数学规律去掉接收序列 中的冗余符号, 恢复信源消息序列。 一般地说，所加的冗余符号越多，纠错能力就越强，但传 输效率降低。因此在信道编码中明显体现了传输有效性与可靠 性的矛盾。 本节主要内容： 1. 信道编码的基本概念 2. 判决与译码规则 3. 译码错误概率 7.1.1 信道编码的基本概念 简化的通信系统模型如图7.1.1所示。 图7.1.1 简化通信系统模型图 设信源输出或信道编码器的输入消息集合为U，信道编 码器采用分组编码，输出码字为 的一个子集，其中每个 码符号 取自符号集 ；码字通过 离散无记忆信道传输；信道输出或译码器的输入为 ，其 中每个符号 取自符号集 ；译码器输 出是被恢复的消息，其集合用V表示。 信息传送过程 （1） 消息产生：由信源发出M个等概率消息：U = {1，2，…，M}； （2） 信道编码：编码器将消息映射成码字，编码函 数f：{1，2，…，M}→C= ，其为码 长为n的码字，码符号集A的大小为r； （3） 信道传输： 为n维矢量，取自码字集C，作为 n次扩展信道的输入， ， 是n维矢量 ，为信道输出， ； （4） 信道译码：译码器根据接收的 完成译码功能 ，译码函数 。 衡量信道编码有效性的重要指标就是信息传输速率 （也称码率）。 对于离散信道，当离散信源的符号通过信道编码器 编成长度为n的码字通过信道传输时，那么信息传输速 率为 （7. 1. 1） 单位为：比特（或奈特）/信道符号，其中，H（X）为 信源的熵。 当信源符号等概率时，一个（M，n）码信息传输速 率R为 （7. 1. 2） 对于时间连续信道，信息传输速率表示单位时间所传送 的信息量，即信息传输速率为 单位为：比特（或奈特）/秒，其中， 为传输一个码符号所 需时间。幻灯片 4 7.1.2 判决与译码准则 对于图7.1.1所示的模型，单符号判决规则为： （7.1.3） 其中， 。（7.1.3）的含义是，当接收到 就判定为 发送符号。因此，对每一个信道