321信息量322平均信息量和信源熵.PPT

掌握信息论的基本概念；掌握离散信息源信息量、平均信息量的计算公式；了解信道的定义、分类和模型；了解噪声的分类；掌握数字信道和模拟信道容量的计算公式。 * * 所谓无记忆信道是指每个输出符号只取决于当前的输入符号，而与其他时刻的输入无关。实际信道往往是有记忆的。 在对称信道中，任一码元的正确传输概率相同，错误传输概率也相同。 * * 【例3-3】 若普通电话线路带宽约，试分别在二进制和八进制情况下，求数据传输速率的理论极限。 解 由式（3.7）可得，二进制时的信道容量为 * * 八进制时的信道容量为 * * 2．模拟信道的信道容量 设信道带宽为 ，信道输出的信号功率为 ，输出的加性高斯白噪声功率为 ，则可证明该信道的信道容量为： （3.8） * * 式（3.8）就是信息论中具有重要意义的香农公式。 它表明了当信道带宽和输出信噪比给定时，信道容量的理论极限。 香农公式还是扩展频谱（扩频）技术的理论基础，公式反映出可以通过增大带宽的方法来提高信道容量。 * * 【例3-4】 已知信道的输出信噪比为 ，带宽为 ，求信道容量。 解 由 ，可得 * * 所以，由式（3.8）可得 * * 奈奎斯特公式和香农公式都是在理想条件下推算出来的理论极限，实际系统是达不到这些极限的。 * * 第三章结束 * * 1．狭义信道和广义信道 在第一章中，信道被定义为发送设备和接收设备之间用以传输信号的传输媒质。例如光缆、双绞线电缆、同轴电缆、自由空间、电离层等都是信道。这种信道只涉及传输媒质，通常称之为狭义信道。 * * 在通信系统的研究中，为了简化系统模型并突出重点，常常要根据所研究的问题，把信道范围适当扩大，也就是说除了传输媒质以外，还可以将有关的电路或部件包括进来，例如图3.1示意了调制信道和编码信道的构成。这类被扩大了范围的信道统称为广义信道。 * * 图3.1 调制信道和编码信道 * * 狭义信道是广义信道的核心，广义信道的性能在很大程度上取决于狭义信道，因此在研究信道一般特性时，传输媒质仍然是讨论的重点。 在讨论通信系统的一般原理时，通常都采用广义信道。 为了叙述上的简便，我们常把广义信道简称为信道。 * * 调制信道（从调制器的输出端到解调器的输入端）是一种常用的广义信道。调制器的作用是产生已调信号，解调器的作用是由已调信号恢复原来的调制信号，至于它们之间的所有部件和媒质，从调制器和解调器的角度看来，都同样起着对已调信号的传输作用，因此可以将它们视作一个整体——调制信道。 * * 2．调制信道的模型 调制信道传输已调信号，其输入端接调制器的输出端，输出端接解调器的输入端，可将其视为一个二对端的时变线性网络，如图3.2所示。 * * 图3.2 调制信道模型 * * 设信道的输入（已调）信号 和输出信号 之间满足关系： （3.5） * * 式中 依赖于网络的特性， 不依赖于网络特性，它们的存在对输入信号 来说都是干扰。 由于 与 是相乘关系，而 与 是相互独立的，所以习惯上称 为乘性干扰、 为加性干扰。 * * 乘性干扰 一般是一个复杂的函数，它可能包括各种线性、非线性畸变因素，这是因为网络的延迟特性和损耗特性在随时间作随机变化。 * * 但大量观察表明，有些信道的 基本不随时间变化，即信道对信号的影响是固定的或变化极为缓慢的；而另一些信道的 是随机快速变化的。 * * 这样，在分析乘性干扰时，可把信道分为两大类：一类称为恒参信道，即其 可看成不或基本不随时间变化；另一类则称为随参信道，即其 是随机快变化的。 * * 恒参信道非常普遍，如有线信道、无线信道中的超短波信道、卫星信道等都可视作恒参信道。对恒参信道而言，信道模型可简化为非时变的线性网络，那么信道对信号的干扰就只有加性干扰了。 加性干扰也称加性噪声，简称噪声。 * * 3.3.2 信道中的噪声 1．噪声的分类 2．高斯噪声 3．白噪声 * * 1．噪声的分类 按来源进行如下分类： 人为噪声来源于无关的其他信号源，如外台信号、电火花、荧光灯干扰等。 自然噪声是指自然界存在的各种电磁波源，如闪电、雷暴等。 内部噪声是系统设备本身产生的各种噪声，如热噪声、散弹噪声、电源哼声等。 * * 某些类型的噪声是确知的，例如电源哼声、自激振荡、各种内部的谐波干扰等，虽然消除这些噪声不一定很容易，但至少在原理上可以消除或基本消除。而另一些噪声则不能准确地预