信息论与编码-第8和9讲-第2章信源及信息度量5 新.ppt

* * 这个连续信源的熵为 * * 说明 高斯连续信源的熵与数学期望m无关，只与方差σ2有关； 熵描述的是信源的整体特性，由图2.3.2看出，当均值m变化时，只是p(x)的对称中心在横轴上发生平移，曲线的形状没有任何变化，即数学期望m对高斯信源的总体特性没有任何影响； 若方差σ2不同，曲线的形状随之改变，所以高斯连续信源的熵与方差有关而与数学期望无关。这是信源熵的总体特性的再度体现。 * * (3) 指数分布的连续信源的熵 若一维随机变量X的取值区间是[0,∞)，其概率密度函数为 指数分布的连续信源的熵只取决于均值。因为指数分布函数的均值决定函数的总体特性。 * * 2.3.4 连续熵的性质 (1) 连续熵可为负值 (2) 连续熵的可加性 (3) 平均互信息的非负性 (4) 平均互信息的对称性和数据处理定理 * * (1) 连续熵可为负值 信源熵在数量上与信源输出的平均信息量相等，平均信息量为负值在概念上难以理解。虽然在讨论它的原因时，已经知道是由连续熵的相对性所致，但另一方面，也说明香农熵在描述连续信源时还不是很完善。 * * (2) 连续熵的可加性 ① 两个变量 ② N个变量 * * ① 两个变量 Hc(XY)=Hc(X)+Hc(Y/X) Hc(XY)=Hc(Y)+Hc(X/Y) 下面证明第一式 同理可证第二式。 * * ② N个变量 连续信源的可加性可推广到N个变量的情况 Hc(X1X2…XN)=Hc(X1)+Hc(X2/X1)+ Hc(X3/X1X2)+…+ Hc(XN/X1X2…XN-1) * * (3) 平均互信息的非负性 ① 无条件熵和条件熵定义 ② 证明过程 * * ① 无条件熵和条件熵定义 条件熵 Hc(X/Y) Hc(Y/X) 无条件熵 Hc(X) Hc(Y) 平均互信息 Ic(X;Y) Ic(Y;X) 它们之间的关系 Ic(X;Y)= Hc(X)-Hc(X/Y) Ic(Y;X)= Hc(Y)-Hc(Y/X) * * ② 证明过程 证明： Ic(X;Y)≥0 Ic(Y;X)≥0 首先证明： Hc(X/Y) ≤Hc(X) Hc(Y/X) ≤Hc(Y) 证明第一式： Hc(X/Y) ≤Hc(X) * * (4) 对称性和数据处理定理 连续信源的平均互信息也满足对称性，即 Ic(X;Y)=Ic(Y;X) 连续信源也满足数据处理定理。即把连续随机变量Y处理成另一连续随机变量Z时，一般也会丢失信息，即 Ic(X;Z)≤Ic(X;Y) Ic(X;Z)≤Ic(Y;Z) * * 2.3.5 最大连续熵定理 对离散信源：当信源呈等概率分布时，信源熵取最大值； 对连续信源：如果没有限制条件，就没有最大熵； 连续信源在不同的限制条件下，信源的最大熵也不同。 (1) 限峰值功率的最大熵定理 (2) 限平均功率的最大熵定理 (3) 均值受限条件下的最大熵定理 * * (1) 限峰值功率的最大熵定理 ① 限峰值功率的最大熵定理 ② 证明过程 ③ 说明 * * ① 限峰值功率的最大熵定理 若代表信源的N维随机变量的取值被限制在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大熵。 * * ② 证明过程 设N维随机变量 定义q(x)为除均匀分布以外的其它任意概率密度函数 Hc[p(x),X]表示均匀分布连续信源的熵 Hc[q(x),X]表示任意分布连续信源的熵 * * 当X取值于任意N维区域而不是立方体时，结果也一样。 第二章 信源熵 第二章 信源熵 * * 2.3 连续信源 2.3.1 一些基本概念 2.3.2 连续信源的熵 2.3.3 几种特殊连续信源的熵 2.3.4 连续熵的性质 2.3.5 最大连续熵定理 2.3.6 熵功率 * 2.3.1 一些基本概念 (1) 连续信源定义 (2) 随机过程及其分类 (3) 通信系统中的信号 (4) 平稳遍历的随机过程 * * (1) 连续信源定义 连续信源：输出消息在时间和取值上都连续的信源。 例子：语音、电视等。 连续信源输出的消息是随机的，与随机过程{x(t)}相对应。可用有限维概率密度函数描述。 * * (2) 随机过程及其分类 ① 随机过程 ② 随机过程的分类 * * ① 随机过程 随机过程定义：随机过程{x(t)}可以看成由一系列时间函数xi(t)所组成，其中i=1,2,3,…，并称xi(t)为样本函数。 * * 每个