信息论与编码本科教案第三章.ppt

第三章：连续信源的信息熵 §3. Entropy of Continuous Source§3.1 连续信源的离散化§3.2 随机变量的相对熵§3.3 相对熵的性质§3.4 常见几种概率密度下的相对熵§3.5 连续信源的最大熵定理 第三章. 连续信源的信息熵 §3. 1 连续信源的离散化 ( Discretization of Continuous Source) 我们前面所介绍的信源均指离散信源，即信源所发 的消息都是由符号或符号序列所组成； 而且每一个符号 的取值都属于一个有限元素组成的集合之中。 §3. 1 连续信源的离散化 因此，我们所研究的问题就复杂了，然而任何复杂 的问题都可以分解成比较简单的问题分步解决。故通 常我们有一些处理连续变量的方法。 §3. 1 连续信源的离散化 因此任何复杂的统计对象，经多种处理后就可由 浅入深地逐步解决问题。正如我们在离散信源中： 第三章. 连续信源的信息熵 §3. 2 连续变量的相对熵 ( The differential entropy of Continuous random Variable) 一个连续变量总可以采用数字量化的方式简化成一个离散变量 来近似，而且量化单位越小则所得的离散变量就越接近那个连续变 量。因此我们针对连续变量的概率统计规律——概率分布密度函数 ( probability density function)也可采用上述近似方法。 §3. 2 连续变量的相对熵 如果把x∈[a,b]的定义域划分成n个小 区间，且每个小区间宽度相等。那么处 于第i个区间的概率就等于： §3. 2 连续变量的相对熵 以上我们将一个连续变量的概率空间量化成一个离 散空间，从而得到连续信源的近似信息熵。如果将此近 似手段在取极限的方式下就可逼近这个连续变量的熵。 §3. 2 连续变量的相对熵 在取极限的过程中由于n→∞ 相当于? →0，此时这个离散变 量越来越逼近一个连续变量；而离散集合中的信息熵Hn(X)就分解 为两项，其中一项与划分精度?无关，趋于一个常量——Hc(X)。 而另一项，随着? →0最终趋于一个无穷大的量。很显然这与取极 限之前的离散熵差别很大，那么这种极限形式能否表达出信源平 均不定度的概念吗？ 由于表达形式的不同，则它的物理意义也应有所不同。所以 我们不能以离散熵的概念来理解上述表达式，特别是当某些离散 熵的数学性质不在继续保持的情况下，如：非负性、对称性、扩 展性等。但值得庆幸，上式中将熵函数中最能反映信源的固有属 性的数学性质如可加性、极值性和上凸性仍旧依然保持着。因此 有可能上述表达式的某些部分仍能代表连续信源的某些物理属性。 （但我们要深入讨论离散向连续逼近时，物理属性的变化。） §3. 2 连续变量的相对熵 因为对于一个连续变量，它的取值有无穷多个，无论它取任何 值，其随机事件所对应的不定度一定是无穷大量。而对熵来说， 应是这个随机事件集合的平均值，既然每一个事件的自信息都是 无穷大，则它的集合平均值也应是无穷大才对。又因为从绝对的 观点来看，每一个连续信源的平均不定度都是无穷大，那么这个 熵的价值也就无意义了。但是再仔细分析一下，上式中只有H(?) 项才与划分精度?有关，这说明只有此项能反映人为地利用离散模 式向连续型逼近的近似程度。换句话说，这仅是强加上的人为因 素，并不代表事物原有的客观属性。比如，对于同样概率分布的 随机变量x，如果仅划分精度?不同时，可取?1 ，?2代表两种划分 精度，则我们所得到的熵的表达式： §3. 2 连续变量的相对熵 为什么说相对熵反映连续变量的客观存在的平均不定度？首 先一个随机变量，当它的概率分布一旦确定，则它的不定性就该 给定，而不能随划分精度的变化而变化。第二，由于信息量的概 念是不定度的解除量，如果在相同划分精度下，再讨论两者之差 时,H(?)将会消失。所以我们可看到仅从Hc(X)上就可真正反映出 信息的全部属性 (包括非负性) 。因此，我们只要相对熵的定义就 足够了。同时我们也能给出两个连续变量的互信息问题： §3. 2 连续变量的相对熵 §3. 2 连续变量的相对熵 可见当两个连续变量之间的互信息，实际上就是两熵之差， 经绝对熵的相互抵消后，就剩下相对熵之差了。所以相对熵则 完全反映出信息的基本属性。所谓“相对”一词也是由此而来。 注：相对熵的定义与离散信源的信息熵有着明显的差别， 即这种相对熵仅代表连续变量的相对平均不定度。 同理，也有如下的相对熵的定义： 第三章. 连续信源的信息