信息论与编码2012-ch2连续信源及其熵.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * Any Questions！ * * (3) 平均互信息的非负性 ① 无条件熵和条件熵定义 ② 证明过程 * * ① 无条件熵和条件熵定义 条件熵 Hc(X/Y) Hc(Y/X) 无条件熵 Hc(X) Hc(Y) 平均互信息 Ic(X;Y) Ic(Y;X) 它们之间的关系 Ic(X;Y)= Hc(X)-Hc(X/Y) Ic(Y;X)= Hc(Y)-Hc(Y/X) * * ② 证明过程 证明： Ic(X;Y)≥0 Ic(Y;X)≥0 首先证明： Hc(X/Y) ≤Hc(X) Hc(Y/X) ≤Hc(Y) 证明第一式： Hc(X/Y) ≤Hc(X) * * (4) 对称性和数据处理定理 连续信源的平均互信息也满足对称性，即 Ic(X;Y)=Ic(Y;X) 连续信源也满足数据处理定理。即把连续随机变量Y处理成另一连续随机变量Z时，一般也会丢失信息，即 Ic(X;Z)≤Ic(X;Y) Ic(X;Z)≤Ic(Y;Z) * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 这个连续信源的熵为 * * 说明 高斯连续信源的熵与数学期望m无关，只与方差σ2有关； 熵描述的是信源的整体特性，由图2.3.2看出，当均值m变化时，只是p(x)的对称中心在横轴上发生平移，曲线的形状没有任何变化，即数学期望m对高斯信源的总体特性没有任何影响； 若方差σ2不同，曲线的形状随之改变，所以高斯连续信源的熵与方差有关而与数学期望无关。这是信源熵的总体特性的再度体现。 * * (3) 指数分布的连续信源的熵 若一维随机变量X的取值区间是[0,∞)，其概率密度函数为 指数分布的连续信源的熵只取决于均值。因为指数分布函数的均值决定函数的总体特性。 * * 2.3.4 连续熵的性质 (1) 连续熵可为负值 (2) 连续熵的可加性 (3) 平均互信息的非负性 (4) 平均互信息的对称性和数据处理定理 * * (1) 连续熵可为负值 信源熵在数量上与信源输出的平均信息量相等，平均信息量为负值在概念上难以理解。虽然在讨论它的原因时，已经知道是由连续熵的相对性所致，但另一方面，也说明香农熵在描述连续信源时还不是很完善。 * * (2) 连续熵的可加性 ① 两个变量 ② N个变量 * * ① 两个变量 Hc(XY)=Hc(X)+Hc(Y/X) Hc(XY)=Hc(Y)+Hc(X/Y) 下面证明第一式 同理可证第二式。 * * ② N个变量 连续信源的可加性可推广到N个变量的情况 Hc(X1X2…XN)=Hc(X1)+Hc(X2/X1)+ Hc(X3/X1X2)+…+ Hc(XN/X1X2…XN-1) * * 2.3.5 最大连续熵定理 对离散信源：当信源呈等概率分布时，信源熵取最大值； 对连续信源：如果没有限制条件，就没有最大熵； 连续信源在不同的限制条件下，信源的最大熵也不同。 (1) 限峰值功率的最大熵定理 (2) 限平均功率的最大熵定理 (3) 均值受限条件下的最大熵定理 * * (1) 限峰值功率的最大熵定理 ① 限峰值功率的最大熵定理 ② 证明过程 ③ 说明 * * ① 限峰值功率的最大熵定理 若代表信源的N维随机变量的取值被限制在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大熵。 * * ② 证明过程 设N维随机变量 定义q(x)为除均匀分布以外的其它任意概率密度函数 Hc[p(x),X]表示均匀分布连续信源的熵 Hc[q(x),X]表示任意分布连续信源的熵 * * 当X取值于任意N维区域而不是立方体时，结果也一样。 * * ③ 说 明 在实际问题中，常令bi≥0,ai=-bi, i=1,2,…,N。这种定义域边界的平移并不影响信源的总体特性，因此不影响熵的取值； 此时，随机变量Xi(i=1,2, ,…,N)的取值就被限制在±bi之间，峰值就是│bi│； 如果把取值看作输出信号的幅度，则相应的峰值功率为bi2； 所以上述定理被称为峰值功率受限条件下的最大连续熵定理，简称限峰值功率的最大熵定理。此时最大熵值为 * * (2) 限平均功率的最大熵定理 ① 限平均功率的最大熵定