信息论与编码 教学课件 作者 张莲 周登义 余成波 2.ppt

第二章 信息的量度 主要内容： 一、自信息量 二、平均自信息量（熵）及性质 教学要求: 一、了解信息论的基本内容 二、会自信息量、互信息量、平均自信息量的计算 引言 有效性和可靠性是通信系统中研究的中心问题，信息论是在信息可度量基础上，研究有效地和可靠地传递信息的科学。因此，概率论、随机过程是信息论研究的基础和工具。 一、自信息量 1、信息量与不确定性： 信息是事物运动状态或存在方式的不确定性的描述。那么,根据香农信息的定义，信息该如何度量呢？ 当人们收到一封E_Mail，或看了电视，到底得到多少信息量呢？显然，信息量与不确定性消除的程度有关。消除多少不确定性，就获得多少信息量。那么，不确定性的大小能度量吗？ 用数学的语言来讲，不确定性就是随机性，具有不确定性的事件就是随机事件。因此，可以应用研究随机事件的数学工具 —— 概率论来度量不确定性的大小。简单地说，不确定性的大小可以直观地看成是猜测某随机事件是否发生的难易程度。 2、不确定性的大小能够度量，信息也可以度量： 例如：设有甲、乙两个布袋内各装有100个球。甲袋内红、白球各50个，乙袋内有红、白、蓝、黄四种球，各25个。现随意从甲袋或乙袋中摸出一球，并猜测“从甲袋中摸出的是红球”和“从乙袋中摸出的是红球”的不确定性哪一个大？ 由此可见，某一事物状态的不确定性的大小，与该事物可能出现的不同状态数目以及各状态出现的概率大小有关。既然不确定性的大小能够度量，可见，信息是可以度量的。 3、信息的度量： 如何对信息进行度量呢？下面先理解几个基本概念： 1）样本空间： 在随机事件（或实验）中，把某事物可能出现状态，即所有可能选择的消息集合在一起，称为样本空间。 每个可能选择的消息称作是该样本空间的元素。 2）概率测度： 就是对每一个可能选择的消息指定一个概率。（非负的，且总和为1）。 3）概率空间： 样本空间和它的概率测度统称为一个概率空间，用[X，P]来表示。在离散情况下，概率空间表示为： 其中： 就是消息 的概率，称为先验概率。 4）随机变量： X 可称为随机变量，就是从样本空间到实数区域的单值映射。 4、自信息量的定义： 任意随机事件的自信息量等于该事件发生概率的对数的负值。 数学表达式为： 其中： 代表某个消息（或符号） 由这个定义，可知注意到如下几点： 1、信息量的多少和事件发生的概率有关，自信息量与概率 成反比关系； 2、自信息量是非负的值。 3、自信息量的单位与所用的对数底有关。 4、某事件出现的概率越小，它的出现所带来的信息量越 大；必然事件的出现不会带来任何信息。 自信息量的三种单位：（P15） 1）比特（bit） ：取对数的底为2，比特是信息论中最常用的信息量单位。 2）奈特：对数的底为e时 3）哈脱来: 对数的底为10时 三个信息单位之间的转换关系： 1 奈 特 = 1.433 比特 1 哈脱来 = 3.322 比特 练习： 同时抛掷一对质地均匀的骰子，每个骰子各面朝上的概率均匀为1/6。 试计算事件“两个1同时发生”后所提供的自信息量是多少。 解： P(A) = 1/36 I(A) = -logP(A) = 5.17比特 5、联合自信息量： 若某个随机事件（信源）可发出两个消息 和 ，则它们的联合自信息量可定义为： 其中： 为同时出现 和 的联合概率 当两个消息独立时，则它们的联合自信息量就是各自的自信息量之和。 小结 1、出现概率小的随机事件所包含的不确定性大，也就是它的自信息量大。出现概率大的随机事件所包含的不确定性小，也就是它的自信息量小。在极限情况下，出现概率为1的随机事件，其自信息量为零。 2、随机事件的不确定性在数量上等于它的自信息量，两者单位也相同。 3、信宿收到从信道传来的所消息携带的信息量后，可以全部或部分消除信宿对信源发出消息的不确定性。特别地，当信宿收到的信息量等于信源包含的不确定性（即自信息量）时，就可以唯一地确定信源发出的消息。 例如：当某随机事件xi出现的概率为P（xi）= 1/8时，它包含3比特的不确定性；当信宿能收到3比特的信息量，就能唯一的确定信源发出的是消息xi。 二、条件自信息量 由于信道中存在干扰，假设接收端收到的消息为 ，它可能与 相同，也可能不同，于是把 称为后验概率。那么，接收端收到 后，发送端发送的消息是否是 尚存在的不确定性应是后验概率的函数。 若随机事件 的后验概率是