通信原理第2章信息论初步.ppt

设 ◆ 消息能在信道上不失真传输的条件是信息传输速率必须小于或等于信道的信道容量。若信息传输速率大于信道容量，则所传输的消息必然产生失真。 ◆ 均匀编码信道：各代码组包含的码元个数相同，即各个代码组的时间长度都相同。 代码组时间长度为b秒，包含的码元个数为m个，每个码元为D进制，则Dm个状态，每个状态对应一个代码组。 设 - 等效信源的熵： - 时间熵： - 信息传输速率： - 最大信息传输速率： ◆ 编码效率：信息传输速率R与信道容量C的比值。 ◆ 最佳编码的两个原则： - 把信源符号集合中出现概率大的符号编成长度较短的代码组，而把出现概率小的符号编成长度较长的代码组； - 在信源编码器输出的代码组序列中不必使用码组间隔就能把序列逐个分成代码组。 2.5 信道容量与香农公式 实际的通信信道都是存在着干扰的有扰信道，其信道容量与带宽、干扰有关。香农公式给出了在传输信号的平均功率受限制和峰值功率受限制的条件下的信道容量。 简介 2.5.1 无扰离散信道的信道容量 ◆ 信道的信道容量：单位时间内信道上所能传输的最大信息量。 若对数的底为2，时间单位为秒，则信道容量的单位比特/秒。 ◆ 若给定的无扰离散信道在时间T内能传输的不同消息的总数为N(T)，则此信道的信道容量为 2.5.2 有扰离散信道的信道容量 ◆ 若信道中存在干扰，则输入符号与输出符号之间存在某种随机性，具有一定的统计相关性，取决于转移概率P(yi|xi)，即信道输入符号（即发送符号）为xi，信道输出符号（即接收符号）为yi的条件概率。 二进制有扰信道传输特征 ◆ 信道矩阵 ◆ 对称信道：信道矩阵的各行和各列分别具有相同集合的元素。 ◆ 具有L种消息的有扰离散的对称信道，其信道容量为： 若信源发出的符号序列的各符号之间互相独立，并在无扰信道或弱干扰的信道上传输，则信道输出的各符号之间也是互相独立的，且传送的符号序列的平均互信息量等于各个符号的平均互信息量之和。 当信道的输入消息集合与输出消息集合互相独立时，信道不能传送任何信息。 对称信道的信道容量 在给定信道输入消息概率分布 的条件下能使误码率最小的方案称为最佳译码方案，能够实现最佳译码方案的检测器就称为理想观察者。 通常使用的最佳译码方案是按照后验概率最大的译码准则设计的，这个准则又称为最大似然判决准则。 最佳译码方案 若 ，把yj译成xi*。 ◆ 当信息传输速率R小于信道容量C时，传输消息的误码率为： 码组长度（码元数目） 随机编码指数 * * * * * * * 第2版 《电子工业出版社》 第二章 信息论 初步 2.1 信息论的两条发展途径 2.2 信息论研究的主要内容 2.3 信息的 对数量度 2.4 离散信源与连续信源 2.5 信道容量与香农公式 2.6 信道 编码 Chapter 2 Preparation of Information Theory 2.1 信息论的两条发展途径 维纳和香农都认为信号和噪声均可用规定集合的统计规律来描述，但他们探讨的数学模型却大不相同。不过，目的都是要在接收端尽可能地重现原信号。 简介 香农 维纳 代表人物 噪声对接收端重现原信号的影响 研究对象 信源和信道的统计特性及编码方法，目的是提高信息传输的效率和可靠性。 重现正时延的原信号 信道设计和编码理论 途径二 在干扰作用下信号的最佳接收问题，它是通信、雷达、导航、遥测、遥控以及电子对抗等的理论基础。 自动控制过程中的信号预测问题 微弱信号检测理论 途径一 应用 研究侧重 理论 2.2 信息论研究的主要内容 信息论研究的基本问题则是有关信源、信宿和信道的统计特性，以及信源编码和信道编码等问题。它对通信体制和通信系统的研究具有指导意义。 简介 ◆ 信息论在理论上指出了建立最佳编码、最佳调制和最佳接收方法的最佳系统的理论原则。 信源所包含的信息量，以及在单位时间内信源发出的信息量（信息熵） 信源 使信源发出的消息变换成其码长度与信源各消息概率分布达到匹配的代码组，以提高传输消息的有效性 信源编码 在无扰信道和有扰信道上信宿能收到的信息量的多少 信宿 信道传输信息量的能力（信道容量），并叙述了有扰离散信道的信道编码定理 信道 各种纠错编码方式的数学理论、纠错能力和实施方案 信道编码 2.3 信息的对数量度 一个预先确知的消息不会给接收者带来任何信息，没有传递的必要。为了衡量通信系统的传输能力，需要对被传输的信息进行定量的测度，如互信息量、熵等。 简介 2.3.1 互信息量 ◆ 两个随机变量 —— 发生事件X —— 观察事件Y ◆ 事件Y=yj 出现，说明事