离散信源与信息熵(上).ppt

北京交通大学信息科学研究所

《信息论基础》

《ElementsofInformationTheory》

北京交大计算机与信息技术学院

信息科学研究所现代信号处理与通信研究室

教学九楼六层北606

主讲：丁晓明TEL:

92/sopc;ssopc

Email—xmding@

«信息论基础»

第二章：信息的度量与信息熵

(ThemeasureofInformationEntropy)

§2.1自信息与条件自信息

(self—informationconditionalself—

information)

§2.2自互信息与条件自互信息(self—mutual

informationconditionalself—mutualinformation)

第二章.信息的度量与信息熵

§2.1自信息与条件自信息

(self—informationconditionalself—information)

§2.1.1自信息(自信息量)

若一随机事件的概率为,它的自信息的数学

定义为：p(xi)

def

I(xi)logp(xi)

首先解释一下自信息与自信息量的区别：信息是概念上的涵

义，而信息量则是有单位，有数值大小的量。自信息则是一个具

体事件的不确定度，而自信息量应是不确定度的解除量，二者仅

在该事件完全确知后信息量才等于自信息。换句话说：自信息反

映的是随机事件的不确定度完全被解除后的信息量。

自信息为什么一定是这样的定义？是否一定是对数形式？

§2.1自信息与条件自信息

因为信息是与随机事件的不定度密切相关，

所以它的度量应是事件概率的函数。设：

Ixifpxifpi

这里f表示任意的数学函数，但它要符合人们的

习惯和客观规律，那么它就必须应该满足以下几个基本条

件，（一般我们称为公理化条件；所谓公理，即无法用前

面的定理所推论的定理。）(axiomaticconditions)

1.

f[pi]应该是概率的单调递减函数，即当p1时p2

则；

f(p1)f(p2)

2.当时，则＝0；

p(xi)1f[pi]

3.当时，则＝;

p(xi)0f[pi]

§2.1自信息与条件自信息

4.两个独立的随机事件和xi，它yj们联合事件的自信息，应

是它们各自信息的和，即：

I(xiyj)I(xi)I(yj)f[p(xi