(信息论)第8章连续信源和波形信道.ppt

* 第 8 章 连续信源与波形信道 8.1 连续信源的特征 在实际的通信系统中，所传输的消息可分为离散消息和连续消息。前面几章已经较详细地介绍了离散信源的有关特性。本章基本上采用相同的方法重点介绍连续信源及相关问题。 8.1.1 连续信源 连续信源：信源输出是时间的连续函数，其取值既是连续的又是随机的，且信源输出的消息可以用随机过程描述，这种信源称为连续信源。 8.1.2 连续信源的熵 连续随机变量的引出 将最简单的连续信源用一维随机变量描述。随机变量 存在非负函数 ，且 并且 则称 为具有连续型分布，或称 为连续随机变量。 为概率密度函数， 为概率分布函数。 (8.1) (8.2) 连续随机变量 满足如下性质： (1) (2) (3) 为单调非降函数； (4) 为左连续，即 (5) 简单连续信源的模型为： (8.3) 连续信源熵的推导： 假设 令 则连续信源模型可改写成离散信源模型 由积分中值定理不难得到 根据离散信源熵的定义，则 (8.4) (8.5) 当 ，即 时，由积分定义，则有 上式中第一项具有离散信源熵的形式，第二项为无穷项。 (8.6) (8.7) 定义 8.1.1 对于连续信源 X，若其概率密度为 ，则连续信源的熵为 连续信源熵与离散信源熵的区别： 连续信源的熵与离散信源的熵具有相同的形式，但其意义不相同。连续信源熵与离散信源熵相比，去掉了一个无穷项，连续信源的不确定性应为无穷大。由于实际应用中常常关心的是熵之间的差值，无穷项可相互抵消，故这样定义连续信源的熵不会影响讨论所关心的交互信息量、信道容量和率失真函数。需要强调的是连续信源熵的值只是熵的相对值，不是绝对值，而离散信源熵的值是绝对值。 (8.8) 8.1.3 连续信源的最大熵 定理 8.1.1 对于服从均匀分布的随机变量X，具有最大输出熵。 定理 8.1.1表明当输出信号幅度受限的连续信源，当满足均匀分布时达到最大输出熵。该结论与离散信源在以等概率出现达到最大输出熵的结论相似。 定理 8.1.2 对于服从均值为 ，方差为 的高斯分布的随机变量具有最大输出熵。 定理 8.1.2 讨论了平均功率受限条件下的最大熵。表明高斯分布的连续信源的熵最大，且随平均功率的增加而增加。 8.1.4 联合熵、条件熵和平均交互信息量 定义 8.1.2 设有两个连续随机变量X和Y，其联合熵为 式中 为二维联合概率密度。 定义 8.1.3 设有两个连续随机变量X和Y，其条件熵为 或 式中 和 为条件概率密度。 (8.9) (8.11) (8.10) 定义 8.1.4 两个连续随机变量 X 和 Y 之间的平均交互信息量为 连续信源的平均交互信息量的性质： (1) (2) 当信源 X 和信源 Y 相互独立时，1 和2 中的等号成立 (8.14) (8.13) (8.12) (3) 对于多元联合信源，若其联合概率密度为 ，则其共熵为 并且存在 当信源彼此独立时，等号成立。 由于连续信源的熵是相对熵，它与离散信源的熵不同，不具有非负性和极值性。所以连续信源的平均交互信息熵具有非负性。 8.1.5 连续信源的熵速率和熵功率 基本概念 熵速率：信源在单位时间内输出的熵称为信源的熵速率。 连续信源的熵是连续信源每个样值的熵，它由信源分布密度来表示。如果信源是时间连续、信号带宽为 B的连续信源，根据随机信号的采样定理，可用 2B 的速率对信源进行采样。因此，连续信源的熵速率为 因为高斯信源具有最大熵(取e为底的对数) (8.15) (8.16) 对于其它分布的信源，当平均功率P一定时，其熵必定小于高斯信源的熵。因此，为了衡量某一信源的熵与同样平均功率限制下的高斯信源的熵的不一致程度，定义熵功率为 式中 为某一信源的熵。 显然，任何一个信源的熵功率 小于或等于其平均功率，当且仅当信源为高斯信源时，熵功率与平均功率相等。 (8.17) 例题：求均值为 、方差为 的高斯分布的熵 解：高斯随机变量的概率密度为