信息论信息的统计度量.pptVIP

第二章 信息的统计度量 信息的可度量性是信息论建立的基础；香农的信息论用事件发生概率的对数来描述事物的不确定性，得到消息的信息量，建立熵的概念；熵是香农信息论最基本最重要的概念。 2.1 自信息量和条件自信息量 2.1.1自信息量 定义2.1.1 任意随机事件的自信息量定义为该事件发生概率的对数的负值。 小概率事件所包含的不确定性大，自信息量大。 大概率事件所包含的不确定性小，自信息量小。 概率为1的确定性事件，自信息量为零。 自信息量I(xi)的性质 I(xi)是非负值； 当P(xi) =1时， I(xi)=0； 当P(xi) =0时， I(xi)= ∞ ； I(xi)是P(xi) 的单调递减函数 例：袋内红、白球各50个,随意从袋中摸出一球。 例：袋内红球1个、白球7个,随意从袋中摸出一球。 联合自信息量 信源模型(涉及两个随机事件) 定义2.1.2 二维联合集XY上的元素（xiyj）的联合自信息量定义为 其中p(xiyj)为元素xiyj的二维联合概率密度。 2.1.2条件自信息量 定义2.1.3 联合集XY中，对事件xi和yj，事件xi在事件yj给定的条件下的条件自信息量定义为 条件概率对数的负值，在特定条件下(yj已定)随机事件xi发生所带来的信息量 联合自信息量和条件自信息量也满足非负和单调递减性。 预备知识复习 对数知识 Log(xy)=logx+logy Log(x/y)=logx-logy 概率知识（以猜测棋子位置为例） 只考虑第几行（或第几列）的情况，涉及一个随机事件，可用离散随机变量来表示。 其中， X代表随机变量，指的是信源整体； 代表随机事件的某一结果或信源的某个元素。 既考虑第几行，又考虑第几列的情况，涉及两个随机事件，可用两个离散随机变量来表示。随机变量X,Y分别取值于集合 思考题：1.1,1.2,1.3 作业题：2.1,2.2,2.3 2.2互信息量和条件互信息量 2.2.1 互信息量 定义2.2.1 对两个离散随机事件集X和Y，事件yj的出现给出关于事件xi的信息量，定义为互信息量，其定义式为 例：某地二月份天气构成的信源为 现有人告诉你:“今天不是晴天。”，把这句话作为收到的消息 。当收到消息 后，各种天气发生的概率变成后验概率了。其中 计算 与各种天气之间的互信息量 2.2.2 互信息的性质 互信息量的互易性 （证明） 由事件yj提供的有关事件xi的信息量等于由事件xi提供的有关事件yj的信息量。 当事件xi，yj统计独立时，互信息量为零。 （证明） 不能从观测yj获得关于另一个事件xi的任何信息。 互信息量可正可负 在给定观测数据yj的条件下，事件xi出现的概率p(xi|yj)称为后验概率，p(xi)称为先验概率； 当后验概率p(xi|yj)大于先验概率p(xi)时，互信息量I(xi;yj)大于零，为正值； 当后验概率p(xi|yj)小于先验概率p(xi)时，互信息量I(xi;yj)小于零，为负值； 互信息量为正，意味着事件yj的出现有助于肯定事件xi的出现；反之，则是不利的。造成不利的原因是存在信道干扰。 任何两个事件之间的互信息量不可能大于其中任一事件的自信息量。 （证明） 自信息量I(xi)是为了确定事件xi的出现所必须提供的信息量，也是任何其他事件所能提供的最大信息量。 在接到上午的电话后，A获得关于B的互信息量为 在接到两次电话后，A获得关于B的互信息量为 事件E,F的出现有助于肯定事件B的出现。 2.2.3 条件互信息量 给定条件 下， 与 之间的互信息量，其定义式 定义2.3.1 集X上，随机变量I(xi)的数学期望定义为平均自信息量，又称作集X的信源熵，简称熵。 熵函数的自变量是X,表示信源整体。集X的平均自信息量表示集X中事件出现的平均不确定性。即为了在观测之前，确定集X中出现一个事件平均所需的信息量；或在观测之后，集X中每出现一个事件平均给出的信息量。 作业题：2.4 2.3.2 熵函数的数学特性 熵函数H(X)只是其概率分布的函数 对称性：当概率矢量P=(p1,p2,…,pq)中的各分量的次序任意变更时，熵值不变。 信源的熵仅与信源总体的统计特性有关。不能描述事件本身的具体含义和主观价值。 非负性 确知信源具有最小熵零。 扩展性 集中一个事件的概率相对于其他事件的概率很小时，对集合的熵值的贡献可忽略不计。 极值性 确定性(不确定性完全消失） 上凸性 可加性 2.3.4联合熵（共熵） 联合离散符号集合XY上的每个元素对 的联合自信息量的数学期望。是二元随机变量不确定性的度量。