信息论与编码课件第二章2.ppt

信源与信息熵 第二章 2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度 离散信源熵和互信息 问题： 什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫平均自信息量？ 什么叫信源熵（熵） 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？ 离散信源熵和互信息 问题： 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵？ 数据处理定理是如何描述的？ 熵的性质有哪些？ 2.2.1 自信息量 1、 自信息量的定义 设离散信源X，其概率空间为 自信息量 2、自信息量I (xi) 含义: 当信息xi发生以前,表示信息xi 发生的不确定性 当信息xi发生以后,表示信息xi所含有的信息量 自信息量单位的确定 在信息论中常用的对数底是2,信息量的单位为比特(bit)； 若取自然对数,则信息量的单位为奈特(nat); 若以10为对数底,则信息量的单位为笛特(det) 1 nat＝log2e ≈ l.433 bit， l det＝log210≈3.322 bit 自信息量 3、不确定度 定义： 信息的不确定度在数量上等于它的自信息量。 说明: 两者的单位相同，但含义却不相同。 信息发生前，存在的不确定度，不确定度表征了该信息的特性；而自信息量是在该信息发生后给予观察者的信息量。 自信息量 4、例题 1） 二进制码元0,1,当符号概率为p(0)=1/4, p(1)=3/4, 则这两个符号的自信息量为： I(0) =－log2 (1/4)=log24= 2bit I(1) =－log2 (3/4) =0.4151 bit 自信息量 5、I(xi)的性质： ⑴ I (xi)是非负值 ⑵ 当p(xi) = 1时，I(xi) = 0 ⑶ 当p(xi) = 0时，I(xi) =∞ ⑷ I(xi)是先验概率p(xi)的单调递减函数，即 当p(x1)＞p(x2)时，I (x1)＜I (x2) ⑸两个独立信息的联合信息量等于它们分别的信息量之和。(后面马上讲到） 自信息量 总结： 一个出现概率接近于1的信息，发生的可能性很大，所以它包含的不确定度就很小；则此信息出现后，包含的信息量就很小 若是确定信息，出现概率为1，则它包含的不确定度为0，则此信息出现后，它包含的信息量为0。 联合信息量 联合信息量 两个信息xi，yj同时出现的联合信息量 条件信息量 条件信息量 在信息yj出现的条件下，信息xi发生的条件概率为p(xi | yj) ，则它的条件自信息量定义为条件概率对数的负值： 2.2.2 离散信源熵 例 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。 解: 依据题意,这一随机事件的概率空间为 如果摸出的是红球，则获得的信息量是 I (x1)=－log2p (x1) = －log20.8 bit 如果摸出的是白球，则获得的信息量是 I (x2)=－log2p (x2) = －log20.2 bit 如果每次摸出一个球后又放回袋中，再进行 下一次摸取。则如此摸取n次，红球出现的次数为np(x1)次，白球出现的次数为 np (x2)次。随机摸取n次后总共所获得的信息量为 np(x1) I (x1)+ np(x2) I (x2) 平均随机摸取一次所获得的信息量为 离散信源熵 1、离散信源熵H(X)定义 (也叫做平均不确定度/平均自信息量) 2、实质 信源的平均不确定度H(X)为信源中各个符号不确定度的数学期望，即： 离散信源熵 3、区别 信息熵： 表征某一信源的总体所含有的信息量。 -每个信息的平均信息量 自信息： 指某一信源发出某一消息(个体）所含有的信息量。 自信息I (xi)是一个随机变量,不能用它来作为整个信源的信息测度。 信源熵 例如有两个信源，其概率空间分别为: 信源熵 4、信源熵具有以下两种物理含意： 信源熵H(X)表示信源输出后,每个离散消息所提供的平均信息量。即信源总体所包含的信息量。 信息熵H(X)表示信源输出前,信源的平均不确定性。 例1 ：甲地天气预报 甲、乙地天气预报为两极端情况： 甲、乙地天气预报为两极端情况： 例2－6 电视屏上约有 500 × 600= 3×105个格点，按每点有 10个不同的灰度等级考虑，则共能组成 个不同的画面。按等概率 计算，平均每个画面