信息论与编第二章复习.ppt

第二章 信源及信源熵 第一节 信源的描述和分类 本章重点 离散/连续信源熵和互信息 第一节 信源的描述和分类 第一节 信源的描述和分类 第一节 信源的描述和分类 第一节 信源的描述和分类 第一节 信源的描述和分类 第一节 信源的描述和分类 第一节 信源的描述和分类 2.2.1 自信息量 2.2.1 自信息量 2.2.1 自信息量 2.2.1 自信息量 定义：一个随机事件的自信息量定义为其出现概率倒数的对数。即: 2.2.1 自信息量 自信息量的单位的确定 在信息论中常用的对数底是2，信息量的单位为比特（bit ：binary unit ）； 若取自然对数，则信息量的单位为奈特（nat： nature unit ）； 若以10为对数底，则信息量的单位为哈特（det：hartley ）。 这三个信息量单位之间的转换关系如下： 1 nat＝log2e l.433 bit， l det＝log210 3.322 bit 2.2.1 自信息量 自信息量I(xi)的性质： I(xi)是非负值； 当P(xi) =1时， I(xi)=0； 当P(xi) =0时， I(xi)= ∞ ； I(xi)是P(xi) 的单调递减函数； 即 若p(x1)p(x2), 则I(x1)I(x2) 几个例子 一个以等概率出现的二进制码元（0，1）所包含的自信息量为： I（0）= I（1）= - log2 （1/2）=log22=1 bit 2.2.1 自信息量 定义：随机事件的不确定度在数量上等于它的自信息量． 说明: 两者的单位相同，但含义却不相同。 具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的特性，而自信息量是在该事件发生后给予观察者的信息量。 2.2.1 自信息量 两个消息xi，yj同时出现的联合自信息量信源模型： 注意: 当xi,yj相互独立时，有P(xiyj)=P(xi)P(yj)，那么就有 I(xiyj)=I(xi)+I(yj)。 xiyj所包含的不确定度在数值上也等于它们的自信息量。 2.2.1 自信息量 定义：在事件yj出现的条件下，随机事件xi发生的条件概率为 ，则它的条件自信息量定义为条件概率对数的负值： 例2－2－1 英文字母中“e” 出现的概率为0.105，“c”出现的概率为0.023，“o”出现的概率为0.001。分别计算它们的自信息量。 解：“e”的自信息量 I（e）= - log2 0.105=3.25 bit “c”的自信息量 I（c）= -log2 0.023=5.44 bit “o”的自信息量 I（o）= -log2 0.001＝9.97 bit 2.2.2 离散信源熵 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。 解: 依据题意 这一随机事件的概率空间为 其中：x1表示摸出的球为红球事件，x2表示摸出的 球是白球事件 . 如果摸出的是红球，则获得的信息量是 I（x1）= -log2p（x1）= - log20.8 bit 如果摸出的是白球，则获得的信息量是 I（x2）= -log2p（x2）= -log20.2 bit 说明： 则平均随机摸取一次所获得的信息量为 H（X）= 1/n[np（x1）I（x1）+np（x2）I（x2）] = -[p（x1）log2p（x1）+p（x2）log2p（x2）] 因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也是非负值，且0 p（xi）1，故信源的平均不确定度 H（X）也是非负量。 平均不确定度H（X）的定义公式与热力学中熵的表示形式相同，所以又把H（X）称为信源X的熵。熵是在平均意义上来表征信源的总体特性的，可以表征信源输出前，信源的平均不确定度。 信息熵H(X)是表示信源输出后，每个消息(或符号)所提供的平均信息量。 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，必有信源的熵值。 例 2－2－3 电视屏上约有 500 × 600= 3 × 105个格点，按每点有 10个不同的灰度等级考虑，则共能组成n=103x105个不同的画面。按等概率1/103x105计算，平均每个画面可提供的信息量为 比较： 有一篇千字