教育信息熵第二章.ppt

第二章?????? 教育信息熵 ? 熵的最早提出（1865年）与热力学 熵在信息论中的地位 第一节??? 熵的概述 一 信息量的表示 1 信息的多少与信源的不确定性有关 实例：5个学生比赛选拔出1人为冠军 2 信息量的度量与信源的不确定性 实例1：5个学生水平相差不多（接近等概率）； 实例2：5个学生水平相差大（不等概率）， 其中A的水平高超； 哪一组比赛悬念更大（获得的信息量多）? 3 小结：信源输出的消息可以看作是随机事件 事件出现的概率大，出现机会多，不确定程度小 事件出现的概率小，出现机会少，不确定程度大 即 Pi大， f(Pi)小 Pi小， f(Pi)大 即 f(Pi)应是Pi的单调减函数 f(pi)=∽(1/pi) 4 信息量的可加性 单调减函数可以有很多种，用来度量信息的函数f(Pi)究竟应当是哪一种呢？有了可加性即可解决 即P（x1,x2）=P(x1)*P(x2) 联合概率（两个变量相互独立） 而f(P1,P2)=f(P1)+f(P2) 不确定性 可见 f(P)满足取对数的关系 f(P)=log(1/p) = -log p 它满足的两个关系： （1） 不确定性与概率的关系 （2） 可加性的要求 二 信息熵 1 平均信息量（信息熵） 一般情况下 状态空间： X： x1 , x2 …………… xn 概率分布：P(x):P(x1),P(x2) ……… P(xn), 且 出现Xi的不确定性: log(1/P(xi)) 该信源每个状态的平均（加权平均）不确定性： 信息熵（平均信息量）： 2 两种不同的单位 上面的定义式中，没有考虑对数的底a,当它取不同的底时（常取2或e），信息熵的单位为比特(bits)和奈特(nats)。 1比特=0.693奈特 1奈特=1.443比特 此外，还有一个哈特（以10为底），是取人名哈特莱（Hartley）,他提出了熵定义式中的对数，且1哈特=3.32比特。 3 例 某一系统具有四种状态（或四种事件）A1、A2、A3、A4，各自的概率为： p1=1/2 , p2=1/4 , p3=1/8 , p4=1/8, 注意：概率和为1 计算得熵： H=1.75 (比特/状态) 4 连续信源  如果概率空间为连续系统，其概率分布为：p(x),对应系统的熵为： 三 熵的意义 1 熵的大小表示某概率系统的不确定程度 实例1：某一概率系统的概率分布如下： （1，0，0，，，0） 这是一个确定性系统，计算其信息熵H=0，即该系统不确定性为0。 实例2：某一概率系统的概率分布为等概率： （1/n，1/n，，，1/n）,设该系统共有n个状态（事件）； 这是一个最不确定系统，计算其信息熵H为最大，即该系统不确定性最大。 一般系统介于上述两种极端情况之间。 2 熵的大小表示某系统中任一状态（事件）出现后产生的平均信息量 实例1：某一概率系统的概率分布如下： （1，0，0，，，0） 在这个系统中，只有第一个状态出现，当它出现之后，没有给我们带来任何信息量，计算其信息熵H=0。 实例2：某一概率系统的概率分布为等概率： （1/n，1/n，，，1/n） , 设该系统共有n个状态（事件）； 在这个系统中，任何一个状态都有均等的机会出现，当某一个状态出现之后，都给我们带来最大的信息量，计算其信息熵H为最大。 一般系统介于上述两种极端情况之间。 四 信息熵的基本性质 ? 1 单峰性（极值性） 任何一个随机系统，其信息熵都有一个极大值（单峰），即各状态出现为等概率时，熵为最大： H(p1，p2，，，pn)≤H(1/n，1/n，，，1/n) = log n 实例：一个二事件系统，概率分别为p和1-p 该系统的熵为：H=-[plogp+(1-p) log(1-p)] 其H—P图具有单峰性(图2.1) 2 对称性 H(p1，p2，p3) = H(p1，p3，p2) = H(p3，p2，p1) 1）这是由于加法满足交换率； 2）这也说明熵反映了该系统的整体特性。 3 渐化性（递增性） 设某系统共有n个事件，现在第n个事件分裂成两个事件，概率分别为q、r 即 pn = q+r 该系统的熵变为： 4 展开性（扩展性） H(p1，p2，，，pn)