第2章 信息论初步精要.ppt

2.5 信道容量与香农公式 实际的通信信道都是存在着干扰的有扰信道，其信道容量与带宽、干扰有关。香农公式给出了在传输信号的平均功率受限制和峰值功率受限制的条件下的信道容量。 简介 2.5.1 无扰离散信道的信道容量 ◆ 信道的信道容量：单位时间内信道上所能传输的最大信息量。 若对数的底为2，时间单位为秒，则信道容量的单位比特/秒。 ◆ 若给定的无扰离散信道在时间T内能传输的不同消息的总数为N(T)，则此信道的信道容量为 2.5.2 有扰离散信道的信道容量 ◆ 若信道中存在干扰，则输入符号与输出符号之间存在某种随机性，具有一定的统计相关性，取决于转移概率P(yi|xi)，即信道输入符号（即发送符号）为xi，信道输出符号（即接收符号）为yi的条件概率。 二进制有扰信道传输特征 ◆ 信道矩阵 ◆ 对称信道：信道矩阵的各行和各列分别具有相同集合的元素。 ◆ 具有L种消息的有扰离散的对称信道，其信道容量为： 若信源发出的符号序列的各符号之间互相独立，并在无扰信道或弱干扰的信道上传输，则信道输出的各符号之间也是互相独立的，且传送的符号序列的平均互信息量等于各个符号的平均互信息量之和。 当信道的输入消息集合与输出消息集合互相独立时，信道不能传送任何信息。 对称信道的信道容量 在给定信道输入消息概率分布 的条件下能使误码率最小的方案称为最佳译码方案，能够实现最佳译码方案的检测器就称为理想观察者。 通常使用的最佳译码方案是按照后验概率最大的译码准则设计的，这个准则又称为最大似然判决准则。 最佳译码方案 若 ，把yj译成xi*。 ◆ 当信息传输速率R小于信道容量C时，传输消息的误码率为： 码组长度（码元数目） 随机编码指数 2.5.3 有扰连续信道的信道容量 ◆ 有扰连续信道中，接收到的信号y是发送信号x和信道噪声n的线性叠加，且x和n在各抽样点上均为独立正态分布。 ◆ 条件概率密度函数p(y|x)等于噪声的概率密度函数f(n)。 ◆ 连续信源的相对条件熵： ◆ 连续信道的信道容量： 第二章 信息论 初步 2.1 信息论的两条发展途径 2.2 信息论研究的主要内容 2.3 信息的 对数量度 2.4 离散信源与连续信源 2.5 信道容量与香农公式 2.6 信道 编码 Chapter 2 Preparation of Information Theory 2.1 信息论的两条发展途径 维纳和香农都认为信号和噪声均可用规定集合的统计规律来描述，但他们探讨的数学模型却大不相同。不过，目的都是要在接收端尽可能地重现原信号。 简介 研究对象 噪声对接收端重现原信号的影响 代表人物 理论 研究侧重 应用 途径一 维纳 微弱信号检测理论 自动控制过程中的信号预测问题 在干扰作用下信号的最佳接收问题，它是通信、雷达、导航、遥测、遥控以及电子对抗等的理论基础。 途径二 香农 信道设计和编码理论 重现正时延的原信号 信源和信道的统计特性及编码方法，目的是提高信息传输的效率和可靠性。 2.2 信息论研究的主要内容 信息论研究的基本问题则是有关信源、信宿和信道的统计特性，以及信源编码和信道编码等问题。它对通信体制和通信系统的研究具有指导意义。 简介 ◆ 信息论在理论上指出了建立最佳编码、最佳调制和最佳接收方法的最佳系统的理论原则。 信源 信源所包含的信息量，以及在单位时间内信源发出的信息量（信息熵） 信源编码 使信源发出的消息变换成其码长度与信源各消息概率分布达到匹配的代码组，以提高传输消息的有效性 信宿 在无扰信道和有扰信道上信宿能收到的信息量的多少 信道 信道传输信息量的能力（信道容量），并叙述了有扰离散信道的信道编码定理 信道编码 各种纠错编码方式的数学理论、纠错能力和实施方案 2.3 信息的对数量度 一个预先确知的消息不会给接收者带来任何信息，没有传递的必要。为了衡量通信系统的传输能力，需要对被传输的信息进行定量的测度，如互信息量、熵等。 简介 2.3.1 互信息量 ◆ 两个随机变量 —— 发生事件X —— 观察事件Y ◆ 事件Y=yj 出现，说明事件X=xi 提供的信息量： 条件概率： 事件Y=yj 出现时，事件X=xi 发生的概率 先验概率： 事件X=xi 发生的概率 情况 条件概率 信息量 随机变量X 和Y 统计独立 事件Y=yj 的出现唯一地决定事件X=xi 的发生 ——X=xi 的自信息量 I(xi ) ◆ 条件自信息量：能在规定条件下唯一地确定该事件必须提供的信息量。 随机事件的不确定性（或不肯定性） ◆ 一个随机事件出现的概率接近于1，说明该事件发生的可能性很大，它所包