第2章信源与熵.ppt

* 随机过程的遍历性 * 单变量连续信源的模型 与单符号和多符号离散信源类似，连续信源也有单变 　量（一维）和多变量（N维）之分。这里只讨论单变量 　连续信源。对多变量连续信源，可以近似转换为无记 　忆信源来处理。 单变量连续信源的模型为 　 　并满足 * 连续随机变量的概率描述 单变量连续信源输出的消息取值是连续变化的，通常 　用连续随机变量来描述这些连续变化的消息值。 连续随机变量用各种概率密度函数来描述。 变量的一维概率密度函数（边缘概率密度函数） p(x)和p(y) 变量间的条件概率密度函数p(x/y)和p(y/x) 联合概率密度函数p(xy) 各种概率密度函数间的关系 * 连续信源（波形信源）的离散化 根据采样定理，对于时间受限于T，频率受限于F的连续时间函数，可由2FT个采样值完整地描述，采样间隔为 　　　　 通过采样，波形信源转化为时间离散，幅度连续的信源，对样本函数　 的描述转化为N维随机序列X，X由N＝2FT个随机变量组成。 * 连续信源的熵＿变量离散化 如果将连续随机变量看作是离散随机变量的极限情况，则连续随机变量的信息熵 令连续随机变量X的取值区间是 ，把它分割成n个小区间,并且各小区间设为等宽 那么X处于第i个小区间的概率是 于是事件 的自信息量为 * 连续信源的熵＿绝对熵 变量离散化后的连续信源的熵为 当　　　　　　　时，得连续信源的熵为 式中第二项将趋于无穷大，这说明连续随机变量的潜在信息量无穷大。 * 连续信源的熵＿相对熵 当比较两个事件的信息量的大小时，第二项常常被消去，因此定义连续随机变量的熵为 这样定义的熵，常称为连续随机变量的相对熵，或称微分熵，在不引起混淆的情况下简称为熵。 * 相对熵的意义 相对熵 不能像离散熵那样，代表连续信源输出的信息。 连续信源的真实熵是其绝对熵，除相对熵之外，还应有一个无穷大的常量。 相对熵 具有相对性。在取两熵之间的差时，才具有信息熵的一般特征。 相对熵 虽然不能像离散熵那样充当集合事件出现不确定性的测度，但它还有许多和离散熵一样的性质，特别是相对熵的差值仍能表征两个集合之间的互信息量。 * 联合熵和条件熵 定义连续信源的联合熵和条件熵 对联合集XY，定义 　　为联合集XY的相对熵。 定义联合集XY的（相对）条件熵为 * 第2章 信源与熵 2.0 信源分类 2.1 单符号离散信源 2.2 多符号离散信源 2.3 连续信源 2.3.1 连续信源与连续熵 2.3.2 几种特殊连续信源的熵 2.3.3　连续熵的性质 2.3.4　熵功率　 * 几种特殊连续信源的熵＿均匀分布信源的熵 设X是在区间(a,b)内服从均匀分布的连续随机变量 * 几种特殊连续信源的熵＿高斯分布信源的熵 * 几种特殊连续信源的熵＿指数分布信源的熵 * 第2章 信源与熵 2.0 信源分类 2.1 单符号离散信源 2.2 多符号离散信源 2.3 连续信源 2.3.1 连续信源与连续熵 2.3.2 几种特殊连续信源的熵 2.3.3　连续熵的性质 2.3.4　熵功率　 * 连续熵的性质 可负性 可加性 上凸性 不同限制下的最大连续熵定理 * 连续熵的性质＿可加性 类似于离散情况，相对熵间有关系： 当且仅当连续随机变量X和Y　统计独立时，两式中的等号成立。 * 连续熵的性质＿上凸性与最大连续熵定理 上凸性： 最大连续熵定理： 峰值功率受限时＿均匀分布 输出信号幅度受限条件下，对于服从均匀分布的随机变量X，具有最大输出熵。 平均功率受限时＿高斯分布 平均功率受限条件下，对于服从均值为m，方差为σ2的高斯分布的随机变量具有最大输出熵。 均值受限时＿指数分布 输出非负信号的均值受限条件下，具有指数分布的连续信源X具有最大熵值。 * 第2章 信源与熵 2.0 信源分类 2.1 单符号离散信源 2.2 多符号离散信源 2.3 连续信源 2.3.1 连续信源与连续熵 2.3.2 几种特殊连续信源的熵 2.3.3　连续熵的性质 2.3.4　熵功率　 * 熵功率 熵功率是连续信源信息冗余度的表示。 * 结论： 对于平均功率受限的连续信源，信源的熵功率总是小于或等于其平均功率。 当且仅当信源为高斯信源时，熵功率与平均功率相等。 * 例：求连续信源的熵 * 有限状态马尔可夫链_遍历性 * 有限状态马尔可夫链_马尔可夫链的稳态分布 * 有限状态马尔可夫链_状态分布矢量的