第二章 信源.ppt

（2）对于收敛的实数列，有以下结论成立： 如果 是一个收敛的实数列，那么 利用上述结论可以推出： 第二章：离散信源及信息测度 3. 离散平稳信源（续12） 单符号信源 熵函数性质 扩展信源 信源分类 例2：信源X的信源模型为 输出符号序列中，只有前后两个符号之间有记忆，条件概率空间见右边的表。求熵率并比较 H(X) 、H(X2|X1) 、 1/2H(X1X2)。 条件概率 第二章：离散信源及信息测度 3. 离散平稳信源（续13） 单符号信源 熵函数性质 扩展信源 信源分类 解： 1) 比特/符号 2) 如果不考虑符号间的相关性，则信源熵为 比特/符号 3) 如果把信源发出的符号看成是分组发出的，每两个符号为一组，这个新信源的熵为 比特/两个符号 第二章：离散信源及信息测度 3. 离散平稳信源（续14） 单符号信源 熵函数性质 扩展信源 信源分类 结论： 如何从理论上解释这个结果？ 第二章：离散信源及信息测度 3. 离散平稳信源（续15） 单符号信源 熵函数性质 扩展信源 信源分类 4. 马尔可夫信源 (1) 定义 (2) 马尔可夫信源 马尔可夫链 (3) 马尔可夫链 第二章：离散信源及信息测度 单符号信源 熵函数性质 扩展信源 信源分类 第二章：离散信源及信息测度 熵函数的性质 例1： 三个信源分别为： ① X与Z信源的差别： 具体消息其含义不同； ② X与Y信源的差别： 同一消息的概率不同； ③ 但它们的信息熵是相同的。 单符号信源 扩展信源 熵函数性质 信源分类 第二章：离散信源及信息测度 熵函数的性质 H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H(1,0, …,0)=0 在概率空间中，只要有一个事件是必然事件，那么其它事件一定是不可能事件，因此信源没有不确定性，熵必为0。 （2）确定性 单符号信源 扩展信源 熵函数性质 信源分类 第二章：离散信源及信息测度 熵函数的性质 只有当随机变量是一确知量时，熵H(X)=0。 离散信源的熵满足非负性，而连续信源的熵可能为负。 （3）非负性 单符号信源 扩展信源 熵函数性质 信源分类 第二章：离散信源及信息测度 熵函数的性质 扩展性说明，增加一个概率接近于零的事件，信源熵保持不变。 虽然小概率事件出现后，给予收信者较多的信息，但从总体来考虑时，因为这种概率很小的事件几乎不会出现，所以它对于离散集的熵的贡献可以忽略不计。这也是熵的总体平均性的一种体现。 （4）扩展性 单符号信源 扩展信源 熵函数性质 信源分类 （5）递增性（递推性) 第二章：离散信源及信息测度 熵函数的性质 单符号信源 扩展信源 熵函数性质 信源分类 熵函数的性质 例2 ：利用递推性计算熵函数 H(1/3，1/3，1/6，1/6)的值。 解： bit/符号 第二章：离散信源及信息测度 单符号信源 扩展信源 熵函数性质 信源分类 熵函数的性质 （6）极值性（最大离散熵定理） 定理： 离散无记忆信源输出n个不同的信息符号，当且仅当各个符号出现概率相等时(即 )，熵最大，即 第二章：离散信源及信息测度 单符号信源 扩展信源 熵函数性质 信源分类 第二章：离散信源及信息测度 熵函数的性质 例3： 以二进制信源为例，信源的概率空间为 二进制信源的信息熵为 这时信息熵H(X)是p的函数，熵函数H(p)的曲线如图所示： 单符号信源 扩展信源 熵函数性质 信源分类 从图中可以得出熵函数的一些性质： 如果二进制信源的输出是确定的(p=0或p=1)，则该信源不提供任何信息； 当二进制信源符号0和1等概率发生时，信源的熵达到最大值，等于1比特/符号; 在等概率的二进制信源输出的二进制数字序列中，每一个二元数字提供1比特的信息量。如果符号不是等概率分布，则每一个二元数字所提供的平均信息量小于1比特。 这也进一步说明了计算机术语中的“比特”与信息量单位“比特”的关系。 第二章：离散信源及信息测度 熵函数的性质 单符号信源 扩展信源 熵函数性质 信源分类 一：信源的分类及其数学模型 二：离散单符号信源 三：信源熵的性质 四：扩展信源 1. 离散无记忆扩展信源 2. 离散平稳信源 3. 马尔可夫信源 4.信源剩余度 第二章：离散信源及其信息测度 1. 预备知识 实际信源输出往往是符号序列，称为离散多符号信源。 离散多符号信源可以用随机矢量/随机变量序列来描述，即 一般来说，信源的统计特性随着时间的推移而有所变化。为了便于研究，我们常常假定在一个较短的时间段内，信源是平稳信源。 第二章：离散信源及信息