2-5第2章2.2.2-3离散平稳信源.ppt

第2章 信源熵 2.2 多符号离散平稳信源 2.2.1 序列信息的熵 2.2.2 离散平稳信源的数学模型 2.2.3 离散平稳信源的信息熵和极限熵 2.2.4 马尔可夫信源 2.2.5 信源冗余度和信息变差 离散平稳信源 1 平稳信源 实际信源常不是简单无记忆信源，而是空间或时间的离散随机序列，常用联合概率来描述符号间的相互依存关系，为此引入平稳信源概念。 2 平稳信源的熵 介绍二维平稳信源的联合熵 3 极限熵 介绍平稳信源的平均符号熵、极限熵，极限熵的求解 平稳信源 一维平稳信源 二维平稳信源 N维平稳信源 离散平稳信源 离散平稳有记忆信源 离散平稳信源一般是有记忆信源 发出的各个符号之间具有统计关联关系 统计关联性可用两种方式表示： 用信源发出的一个符号序列的整体概率，即N个符号的联合概率来反映有记忆信源的特征，这种信源是发出符号序列的有记忆信源 用信源发出符号序列中各个符号之间的条件概率来反映记忆特征，这是发出符号序列的马尔可夫信源。 第2章 信源熵 2.2 多符号离散平稳信源 2.2.1 序列信息的熵 2.2.2 离散平稳信源的数学模型 2.2.3 离散平稳信源的信息熵和极限熵 2.2.4 马尔可夫信源 2.2.5 信源冗余度和信息变差 平稳信源的熵-联合熵 以最简单的二维平稳信源为例,它是N长为2的有记忆平稳信源。 平稳信源的熵-熵的可加性 二维平稳信源与二次扩展信源 当X1和X2取值于同一集合（概率空间）时， H(X1)=H(X2)=H(X),H(X)=2H(X)=H(X2) 与离散无记忆信源的二次扩展信源的情况相同。所以 离散无记忆信源的二次扩展信源可看成是二维离散平稳信源的特例。 二维离散平稳信源是离散无记忆信源的二次扩展信源的推广。 二维平稳信源与二次扩展信源的熵 由于条件熵小于无条件熵，所以 H(X1X2)= H(X1)+ H(X2/X1) H(X1X2)≤H(X1)+ H(X2) 说明二维离散平稳有记忆信源的熵小于等于二维离散平稳无记忆信源的熵 对于二维离散平稳无记忆信源X2=X1X2来说，X1对X2不产生任何影响。 对于二维离散平稳有记忆信源，由于X1和X2有统计依赖关系， X1的发生会提供X2的部分相关信息。 二维平稳信源的熵-例题 二维平稳信源的熵-例题(续) 二维平稳信源的熵-例题(续) 第2章 信源熵 2.2 多符号离散平稳信源 2.2.1 序列信息的熵 2.2.2 离散平稳信源的数学模型 2.2.3 离散平稳信源的信息熵和极限熵 2.2.4 马尔可夫信源 2.2.5 信源冗余度和信息变差 极限熵 上一节只讨论了二维平稳有记忆信源，这一节讨论N2长平稳有记忆信源系列的熵。 N维平稳有记忆信源的熵 条件熵随N增加而递减 矢量熵H(X) 矢量熵H(X)即离散平稳有记忆信源的联合熵H(X1X1...XN)，表示平均发出一个消息所提供的信息量。 这里的一个消息是由N各符号组成的序列。 可得信源平均发出一个符号所提供的信息量HN(X)= H(X)/N，称为平均符号熵。 当N趋于无穷大时，称为极限熵或极限信息量，记为H∞。 平均符号熵与极限熵 极限熵的意义 多符号离散平稳信源实际上就是信源在不断地发出符号，符号之间的统计关联关系也并不仅限于长度N，而是伸向无穷远。研究实际信源，必须求出信源的极限熵H∞。 H∞是否存在？ 如何求H∞？ H∞是存在的，且等于关联长度N趋于∞时，条件熵的极限值。 极限熵存在定理 极限熵定理的证明 极限熵的计算 离散平稳信源-小结 实际信源往往比较复杂，在其定义上加入平稳性约束条件即为平稳信源，而平稳信源通常都是有记忆信源。 分析了有二维记忆信源和无记忆二次扩展信源的关系 极限熵代表了一般离散平稳有记忆信源平均每发出一个符号所提供的信息量。 计算联合熵或极限熵很困难，需要测定信源的无穷阶联合概率和条件概率。 可用条件熵或平均符号熵作为极限熵的近似值。 * HUST -- Information and Coding Theory * * * 9/11 2/11 0 X1=x3 1/8 3/4 1/8 X1=x2 0 2/9 7/9 X1=x1 X2=x3 X2=x2 X2=x1 P(X2/X1) * HUST -- Information and Coding Theory