2-7第2章2.3连续信源.ppt

第2章 信源熵 2.0 信源的数学模型及其分类 2.1 单符号离散信源 2.2 多符号离散平稳信源 2.3 连续信源 2.3.1 连续信源的熵 2.3.2 几种特殊连续信源的熵 2.3.3 最大连续熵定理 2.3.4 联合熵、条件熵和平均交互信息量 连续信源 实际应用：信源的输出往往是时间的连续函数，如语音信号、电视图像等。由于它们的取值既是连续的又是随机的，称为连续信源，且信源输出的消息可以用随机过程描述。 连续信源的数学描述：对于某一连续信源X(t),当给定某一时刻t=to时，其取值是连续的，即时间和幅度均为连续函数。 由于连续信源中消息数是无限的，其每一可能的消息是随机过程的一个样本函数，可以用有限维概率分布函数或有限维概率密度函数来描述连续信源。 连续信源 平稳随机过程：统计特性不随时间的平移而变化的随机过程。 平稳遍历的随机过程：集平均与时间平均相等。 连续信源 研究方法一：取样、量化。时间离散、取值离散，简化为离散信源（上一节已讨论） 研究方法二：只取样、不量化。时间离散、取值连续。研究一个随机序列，序列中的每个分量的取值是连续的（本节研究的重点） 连续信源的数学模型 2.3.1连续信源的熵 简单的连续信源可以用一维随机变量描述 连续 随机 变量X 满足： 连续信源熵的计算方法 连续信源熵的计算方法-续 定义 连续信源的熵 对于连续信源X，若其概率密度为p(x)，则连续信源的熵为 解释 连续信源的熵与离散信源的熵具有相同的形式，但其意义不相同。连续信源熵与离散信源熵相比，去掉了一个无穷项，连续信源的不确定性应为无穷大。 由于实际应用中常常关心的是熵之间的差值，无穷项可相互抵消，故这样定义连续信源的熵不会影响讨论所关心的交互信息量、信息容量和率失真函数。 需要强调的是连续信源熵的值只是熵的相对值，不是绝对值，而离散信源熵的值是绝对值。 第2章 信源熵 2.0 信源的数学模型及其分类 2.1 单符号离散信源 2.2 多符号离散平稳信源 2.3 连续信源 2.3.1 连续信源的熵 2.3.2 几种特殊连续信源的熵 2.3.3 最大连续熵定理 2.3.4 联合熵、条件熵和平均交互信息量 例 求平均分布随机变量的熵 例 求一维高斯分布的熵 第2章 信源熵 2.0 信源的数学模型及其分类 2.1 单符号离散信源 2.2 多符号离散平稳信源 2.3 连续信源 2.3.1 连续信源的熵 2.3.2 几种特殊连续信源的熵 2.3.3 最大连续熵定理 2.3.4 联合熵、条件熵和平均交互信息量 2.3.3 连续信源的最大熵 对于离散信源，当所有消息独立等概率分布时，其熵值最大。而在连续信源情况下，如果没有条件限制就没有最大熵。在不同限制条件下，信源的最大熵也不同。 问题：对于连续信源，当存在最大熵值时，其概率密度函数p(x)应该满足什么条件呢？ 当H(X)满足 为最大条件下，求解p(x) 满足概率密度的定义。 连续信源的最大熵-续 在具体应用中，仅讨论连续信源的两种情况： 一是信源输出的幅度受限； 二是信源输出的平均功率受限。 利用数学表达式表示这两种情况，可以写为 输出信号幅度受限条件下的最大熵 定理:对于服从均匀分布的随机变量X，具有最大输出熵。 平均功率受限条件下的最大熵 定理：对于服从均值为m，方差为σ2的高斯分布的随机变量具有最大输出熵。 定理 - 证明 续 结论. 输出信号幅度受限的连续信源，当满足均匀分布时达到最大输出熵，这与离散信源在以等概率出现达到最大输出熵的结论类似。 输出信号平均功率受限条件下，具有高斯分布的连续信源的熵最大，且随平均功率的增加而增加。 第2章 信源熵 2.0 信源的数学模型及其分类 2.1 单符号离散信源 2.2 多符号离散平稳信源 2.3 连续信源 2.3.1 连续信源的熵 2.3.2 几种特殊连续信源的熵 2.3.3 最大连续熵定理 2.3.4 联合熵、条件熵和平均交互信息量 联合熵、条件熵和平均交互信息量 证明 平均互信息I(X;Y)的主要性质 连续随机变量平均互信息的主要性质如下： 1.非负性 I(X;Y)≥0 当且仅当连续随机变量X和Y统计独立时等号成立。 2.对称性 I(X;Y)=I(Y;X) 连续信源各种熵的关系式 连续信源是相对熵，不具有非负性和极值性 存在如下关系式： H(X,Y)≤H(X)+H(Y) H(X/Y)≤H(X)和H(Y/X)≤H(Y) 当信源X和Y相互独立时，等号成立。 小结 将离散信源的各种特征推广到连续信源。 分析了连续信源的熵。绝对熵是无穷大的，主要考虑相对熵。指出了相对熵具有的性质。 讨论了不同