第三章_连续信源的信息熵.pdf

« 信 息 理 论 基 础 » 第三章：连续信源的信息熵 §3. Entropy of Continuous Source §§33.11 连续信源的离散化连续信源的离散化 §3.2 随机变量的相对熵熵 §3.3 相对熵的性质 §§33.44 常见常见几种概率密度下的相对熵种概率密度下的相对熵 §§3.5 连续信源的最大熵定连续信源的最大熵定理 §3.6 平稳高斯随机过程的信息熵与互信息 §§3.7 熵功率率与功率率不等等式 第三章. 连续信源的信息熵 §3. 1 连续信源的离散化 (( Discretization of Continuous Source)) 我们前面所介绍的信源均指离散信源我们前面所介绍的信源均指离散信源，，即信源所发即信源所发 的消息都是由符号或符号序列所组成； 而且每一个符号 的取值都属于的取值都属于一个有限元素组成的集合之中个有限元素组成的集合之中。。 a ,a ,,a  1 2 n x A    ff inite syy mbol or seqquence  p ,p ,,p  1 2 n  而连续信源是指信源所发出的消息都是由一个个随机而连续信源是指信源所发出的消息都是由一个个随机 过程( stochastic process)所形成。如：语音信号 X (t ,) 它不仅幅度上它不仅幅度上，而且在时间上也都是而且在时间上也都是 连续的连续的，即分别属即分别属 于一个无限的集合之中。 §3. 1 连续信源的离散化 因此，我们所研究的问题就复杂了，然而任何复杂 的问题都可以分解解成比较简单的问题分步解解 决。故通 常我们有一些处理连续变量的方法。 Stochastic Random Random x H (p ) process vector variable Amplilitudde Time  Memoryless discretization X (t ,)  X MarkovianMarkovianX discretizationdiscretization x() 正交变换正交变换 Ampplitude continuous  Orthogonal Transformation H ((X )) cc 所谓正交变换是一种数学处理手段，将在T时间内的 受限于最高频率为受限于最高频率为FF 的随机过程的随机过程，无失真地变换成无失真地变换成22FTFT个个 随机变量。最理想的正交变换是： K—L expansion 。 §3. 1 连续信源的离散化 因此任何复杂的统计对象，经多种处理后就可由 浅入深地逐步解决问题浅入深地逐步解决问题。。正如我们在离散信源中正如我们在离散信源中 ：：