2-4第2章221序列信息的熵.pptVIP

第2章 信源熵 2.2 多符号离散平稳信源 2.2.1 序列信息的熵 2.2.2 离散平稳信源的数学模型 2.2.3 离散平稳信源的信息熵和极限熵 2.2.4 马尔可夫信源 2.2.5 信源冗余度和信息变差 离散无记忆信源 定义 离散无记忆信源 消息符号的自信息量 回顾消息与不确定度、不确定度与自信息量 由自信息量的函数形式可以看出： 信源中信息的度量与输出符号发生的概率有关 自信息量是先验概率 的单调减函数； 当 信息量的定义满足可加性，即满足泛函方程 自信息量与信息熵 自信息量I(xi)是指某一信源发出某一消息符号xi所含有的信息量，所发出的消息符号不同，它们含有的信息量就不同，故自信息量I(xi)是一个随机变量，不能用它来作为整个信源输出信息的信息测度。 引入平均自信息量，即信息熵来作为信源输出信息的测度。 信源熵 定义 信源熵 可见，信源熵是信源输出各消息自信息量的概率加权平均值，它是从平均意义上表征信源总体特征的一个量，是信源统计平均不确定性的描述。 离散无记忆信源熵－例题 离散无记忆信源的扩展信源 最简单的离散信源 单符号离散信源 N次扩展信源 离散无记忆二进制信源的扩展信源 离散无记忆信源的扩展信源 N次扩展信源的熵 最简单的离散信源 N次扩展信源 1. 离散无记忆二进制信源的二次扩展信源 如图，二次扩展信源的输出消息是符号序列，分组发出，每两个二进制符号构成一组。其数学模型为 二进制信源的N次扩展信源 2. 离散无记忆二进制信源的三次扩展信源 三次扩展信源X3＝(X1X2X3)共输出nN个消息符号，其中n=2，N＝3，即8个长为3的二进制系列符号，它等效为一个具有8个消息符号的新信源X。 离散无记忆信源的N次扩展信源 定义 设X是一个离散无记忆信源，其概率空间 其中n为信源符号个数，pi＝P(X=xi) i=1,2,…n。则X的N次扩展信源XN是具有nN个消息符号的离散无记忆信源，其概率空间为 N次扩展信源的熵 N次扩展信源的熵(证明) N次扩展信源的熵 N次扩展信源的熵－例题 例 设有一离散无记忆信源X，其概率空间为 N次扩展信源的熵－例题(续) 小结 首先给出了离散信源和连续信源的数学模型，然后根据随机变量的取值以及随机变量统计特性分析了信源的分类。 讨论了离散无记忆信源的信源熵，说明它就是离散集合X的信息熵。在此基础上进一步介绍了离散无记忆信源的扩展信源。 从最简单的离散无记忆信源开始，介绍了N次扩展信源和N次扩展信源的熵。 * HUST -- Information and Coding Theory * * HUST Furong WANG--- Information and Coding Theory * * * HUST -- Information and Coding Theory -- Wang Fu rong * * * * 扩展信源 X＝X1X2 二次扩展信源 1/16 1/16 1/8 1/16 1/16 1/8 1/8 1/8 1/4 概率p(ai) x3 x3 x3 x2 x3 x1 x2 x3 x2 x2 x2 x1 x1 x3 x1 x2 x1 x1 符号系列 a9 a8 a7 a6 a5 a4 a3 a2 a1 信源符号 * HUST -- Information and Coding Theory