Ch2例题与证明四-1.doc

连续熵的性质 1．连续熵可为负值 2．可加性 连续信源也有与离散信源类似的可加性。即 (1) (2) 下面我们证明式(1)。 其中， 同理，可证明式(2)。 连续信源熵的可加性可以推广到N个变量的情况。即 平均互信息的非负性 定义连续信源的无条件熵和条件熵之差为连续信源的平均互信息。记为，即有 连续信源的平均互信息仍保留了非负性。即 证明条件熵小于等于无条件熵。即 （3） （4） 现在我们证明式（3）: 由可得 根据对数变换关系 和著名不等式 并注意到 故有 令，只要不恒为0，则 =1-1=0 即 其中 由式(3)得 (5) 同理可得 (6) 平均互信息的对称性 容易证明，连续信源的平均互信息也满足对称性。即 (7) 满足数据处理定理 另外，连续信源还满足数据处理定理。换句话说，把连续随机变量Y处理成另一随机变量Z时，一般也会丢失信息。即 （8） 最大连续熵定理 (1)限峰值功率的最大熵定理 若代表信源的N维随机变量的取值被限制在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大熵。 设N维随机变量 其均匀分布的概率密度函数为 除均匀分布以外的其他任意概率密度函数记为，并用和分别表示均匀分布和任意非均匀分布连续信源的熵。在 的条件下有 令 运用著名不等式 则 至此已证明了在定义域有限的条件下，以均匀分布的熵为最大。 在实际问题中，随机变量的取值限制在之间，峰值为。如果把取值看作是输出信号的幅度，则相应的峰值功率就是。所以上述定理被称为峰值功率受限条件下的最大连续熵定理。此时最大熵值为： (2)限平均功率的最大熵定理 若信源输出信号的平均功率P和均值m被限定，则其输出信号幅度的概率密度函数为高斯分布时，信源具有最大熵值。 单变量连续信源X呈高斯分布时，PDF 当X是高斯分布以外的其它任意分布时 ，PDF 记为,由约束条件已知 由于随机变量的方差 当均值m为0时，平均功率就等于方差 ，可见对平均功率和均值的限制就等于对方差的限制。用和分别表示高斯分布和任意非高斯分布连续信源的熵 由前面的讨论已知 其中  （3）均值受限条件下的最大连续熵定理 若连续信源X输出非负信号的均值受限，则其输出信号幅度呈指数分布时，连续信源X具有最大熵值。 连续信源X为指数分布时PDF为 用和分别表示指数分布和任意非指数分布连续信源的熵。记限制条件为： ,任意其它分布的信源熵为 总结：连续信源与离散信源不同，它不存在绝对的最大熵。其最大熵与信源的限制条件有关，在不同的限制条件下，有不同的最大连续熵值。  熵功率 设连续信源X在PDF为时达到最大熵值,除此之外的其它任何PDF达到的熵值为,两熵之差即表示信源的剩余,记为，也叫信息变差(或信源的冗余)。即信源从一种PDF转到另一种PDF时，信源所含信息量发生的变化。 从信息变差的概念出发，连续信源的熵可理解为最大熵与信息变差之间的差值。 讨论均值为零、平均功率限定为P的连续信源的冗余问题。 当PDF为高斯分布时达到最大熵 仅随限定功率P的变化而变化。假定限定的功率为，相应的熵为，若，则有 当PDF为其它任何分布时，也有 总能找到某一个，使 此即的大小决定了实际信源的熵值。称为连续信源X在PDF为时的熵功率。它与信息变差之间的关系： 总结:信源的冗余度决定于平均功率的限定值与信源的熵功率之比。