信息论信息的统计度量.pptVIP

熵01这个名词是香农从物理学中的统计热力学借用过来的，在物理学中热熵是表示分子混乱程度的一个物理量，这里，香农引用它来描述信源的平均不确定性，含义是类似的。02但是在热力学中已知任何孤立系统的演化，热熵只能增加不能减少；而在信息论中，信息熵正相反，只会减少，不会增加。所以有人称信息熵为负热熵。031信息熵的单位与公式中的对数取底有关。2通信与信息中最常用的是以2为底，这时单位为比特（bit）,H(X)；3理论推导中用以e为底较方便，这时单位为奈特（nat）,He(X)；4工程上用以10为底较方便，这时单位为哈特（hat）,H10(X)。5它们之间可以引用对数换底公式进行互换。1bit=0.693nat=0.301hat熵的单位平均模取1次所获得的信息量为例：一个布袋内放100个球，其中80个是红的，20个白的，若随机模取一个，猜测其颜色，求平均模取一次所能获得的自信息量。随机模取n次后总共所获得的信息量为概率空间模1次获得的信息量为熵是从平均意义上来表征信源的总体特征－平均不确定性电视屏上约有500×600＝3×105个点，按每点有10个不同的灰度等级考虑，则共能组成103×105个不同的画面。按等概计算，平均每个画面可提供的信息量为A另有一篇千字文，每字从万字表中选择，共有不同的千字文N＝100001000篇＝104000篇，仍按等概计算，平均每篇千字文可提供的信息量为B500*600的一个画面比1000个字的文章提供的信息量大。C作业题：2.42.3.2熵函数的数学特性熵函数H(X)只是其概率分布的函数对称性：当概率矢量P=(p1,p2,…,pq)中的各分量的次序任意变更时，熵值不变。信源的熵仅与信源总体的统计特性有关。不能描述事件本身的具体含义和主观价值。A地天气情况晴阴雨B地天气情况晴阴雨A地人口20其他6001非负性02确知信源具有最小熵零。扩展性集中一个事件的概率相对于其他事件的概率很小时，对集合的熵值的贡献可忽略不计。晴阴雪雨A地B地晴阴雪雨雹对于离散随机变量，当其可能的取值等概分布时，其熵达到最大值。即：结论：等概率分布时熵最大，不确定性最大。故这一定理又被称为离散信源最大熵定理。极值性证明：例：二元熵函数XP(x）＝x1x2p1-pH(X)=-plogp-(1-p)log(1-p)=H(p)1.01.00.50pH(p)/bit二元熵函数曲线确定性(不确定性完全消失）集合X中只要有一个事件为必然事件，则其余事件为不可能事件。此时，集合中每个事件对熵的贡献都为0，因而熵为0。上凸性是概率分布的严格上凸函数有1.01.00.50pH(p)/bit二元熵函数曲线STEP1STEP2STEP3STEP4可加性如果有两个随机变量X和Y，它们不是相互独立的，则二维随机变量X和Y的联合熵，等于X的无条件熵加上当X已给定时Y的条件概率定义的熵。XY条件熵在已知随机变量Y的条件下，随机变量X的熵称为集X对集Y的条件熵。是联合集XY上条件自信息量的数学期望。01是已知一随机变量，对另一个随机变量的不确定性的量度02当X表示信源的输出，Y表示信宿的输入时，条件熵H(X/Y)可表示信宿在收到Y后，信源X仍然存在的不确定度。这是传输失真所造成的。03求条件熵为什么要用联合概率？04p(00)=p(11)=1/8,p(01)=p(10)=3/8,计算条件熵H(X/Y)。02例：已知X，Y01解：根据条件熵公式：04,XY构成的联合概率为：03联合熵（共熵）联合离散符号集合XY上的每个元素对的联合自信息量的数学期望。是二元随机变量不确定性的度量。联合熵等于无条件熵加上条件熵。01X02Y03证明：042.3.5各种熵的关系01证明：XY条件熵小于等于无条件熵，等式成立的条件是集X集Y相互独立。020304联合熵等于无条件熵加上条件熵。XY条件熵小于等于无条件熵，等式成立的条件是集X集Y相互独立。联合熵小于等于各自熵的和，等式成立的条件是集X集Y相互独立。XY信息的可度量性是信息论建立的基础；香农的信息论用事件发生概率的对数来描述事物的不确定性，得到消息的信息量，建立熵的概念；熵是香农信息论最基本最重要的概念。2.1.1自信息量定