信息论基础教程 教学课件 作者焦瑞莉 第二章 信源和熵.ppt

则 连续信源的熵计算 连续信源的信息熵 连续信源的条件熵与联合熵 连续信源的互信息 连续信源的互信息 连续信源的互信息 连续信源的平均互信息 连续信源的I(X;Y)：取值有限；为非负值。 例:设有二维高斯概率密度函数 —— 连续随机变量 X、Y 的均值 —— 连续随机变量 X、Y 的方差 —— 相关系数（归一化协方差） 求 I(X;Y) = ? 连续信源的平均互信息计算 连续信源的平均互信息计算 连续信源的平均互信息计算 连续信源的相对熵、平均互信息的性质 定理2.8（峰值受限） 若随机变量X的取值被限定在区间[a,b]，则X的相对熵 当且仅当X服从均匀分布时具有最大的相对熵。 （离散情形：等概） 证明：设随机变量X概率密度函数为q(x)，有 又设均匀分布时概率密度函数为p(x),有 且 则需证 连续信源的最大相对熵 定理2.10（平均功率受限） 若给定连续型随机变量X的方差为，则X的相对熵 当且仅当X服从服从Gaussian分布时等号成立。 连续信源的最大相对熵 连续信源的最大相对熵 连续信源的最大相对熵 连续信源的熵功率 例：有一个连续信源，它发出的随机连续消息的概率密度函数 p（x）=1/2 ，1 ≤ x ≤ 3v ，求该信源消息的平均功率和熵功率。 熵功率物理意义：具有熵值 Hc(X) 的高斯随机变量的功率。 连续信源的熵功率 第二章 小结 两个概念 自信息与互信息 两种信源 离散信源与连续信源 * * * 注意大小写代表的不同含义；任何概率分布要满足完备性；灵活应用关系式；计算结果要与概念符合 * * 注意大小写代表的不同含义；任何概率分布要满足完备性；灵活应用关系式；计算结果要与概念符合 * 注意大小写代表的不同含义；任何概率分布要满足完备性；灵活应用关系式；计算结果要与概念符合 I(X;Y)与信息熵的关系 I ( X ; Y ) = 0 H ( X ) H (Y ) H ( XY ) 集合X与集合Y 相互独立的情况 I(X;Y)与信息熵的关系 H ( XY ) H ( X|Y ) H (Y|X ) H ( X ) H (Y ) H ( X|Y ) —— 含糊度或损失熵 H ( Y|X ) —— 散布度或噪声熵 I(X;Y)与信息熵的关系 H ( X ) = H (Y ) = I ( X ; Y ) H ( XY ) 集合X与集合Y 完全相关的情况 I(X;Y)与信息熵的关系 H(X|Y) I(X;Y) 的凸函数性 I(X;Y) 的凸函数性 I(X;Y) 的凸函数性 当 p(y|x) 给定时，I(X;Y) = f [p(x)] 是上凸函数。 当 p(x) 给定时，I(X;Y) = f [p(y|x)] 是下凸函数。 C — 信道容量 R(D) —率失真函数 小结 互信息量 —— 信息论中的另一个基本概念（差值） —— 对两个随机变量之间统计依存性的信息度量 —— 用来描述信道特性和信源的压缩特性 信息熵 —— 信息论中的最基础的基本概念 —— 对随机变量不确定性的最好的度量 —— 用来描述信源的信息特性 信息不增性原理(定理2.4) 信道Ⅰ p(y|x) 信道Ⅱ p(z|xy) X Y Z 当且仅当p(z|xy)= p(z|y)时，等号成立。 信息不增性原理(定理2.5) 信道Ⅰ p(y|x) 信道Ⅱ p(z|y) X Y Z 当且仅当Y和Z是一一对应关系时，等号成立。 平稳离散信源 (1)平稳离散信源的概念 (2)平稳离散信源的熵 (3)信源的冗余度与信息速率 信源的符号序列统计特性与时间的起点无关 平稳离散信源的熵 随机矢量的熵（联合熵） 极限熵（熵率） 平均符号熵 定理2.6 设 证明：极限的存在性 为单调有界序列。 有记忆平稳离散信源的熵 我们有 则 又 得 定理说明： 随机变量之间的依赖性在某种程度上降低了信源的不确定性，即使信源（符号）携带的信息量减少。 当考虑依赖关系无限长时，平均符号熵和条件熵都是非递增地一致趋于平稳信源的极限熵。 无记忆平稳离散信源的熵 无记忆平稳离散信源：信源输出为平稳独立的随机序列 又各分量分布相同 无记忆平稳离散信源的熵 无记忆平稳离散信源的熵 随机矢量的熵（联合熵） 极限熵 平均符号熵 信源的冗余度与信息速率 对于离散平稳信源 理论上：实际的熵为 —— 即信源所能输 出的信息量——需要传递 的手段。