信息论基础与编码 教学课件 作者 王军选 田小平 曹红梅 02章.ppt

第二章 信源与信息熵 2.1 信源的数学模型及分类 2.2 离散信源熵和互信息 2.3 信息熵的性质 2.4 离散序列信源熵 2.5 连续信源熵与互信息 2.6 信源的冗余度 2.1 信源的数学模型及分类 信源分类 连续信源 信源 离散无记忆信源 离散信源 离散有记忆信源 离散无记忆信源：包括发出单个符号的无记忆信源和发出符号序列的无记忆信源两种。 离散有记忆信源：包括发出符号序列的有记忆信源和发出符号序列的马尔可夫信源两种。 各个符号的先验概率为： 2.2 离散信源熵和互信息 2.2.1 信息量 在一切有意义的通信中，虽然消息的传递意味着信息的传递，但对于接收者来说，某些消息比另外一些消息却含有更多的信息。消息中的信息量与消息发生的概率紧密相关，消息出现的概率越小，则消息中包含的信息量就越大。 为了计算信息量，消息中所含信息量I与消息出现的概率p(x)间的关系式应当反映如下规律： ① 消息中所含信息量I是出现该消息的概率p(x)的函数，即 ② 消息出现的概率越小，它所含的信息量越大；消息出现的概率越大，它所含的信息量越小；且当p(x)?=?1时，I?=?0。 ③ 若干个互相独立的事件构成的消息，其所含信息量等于各独立事件的信息量之和，即 不难看出，若I与p(x)之间的关系式为： 就可满足上述要求。 上式中的I称为随机事件的自信息量。它的单位与所采用的对数的底有关。若取a?=?2，则自信息量的单位为bit；若取a?=?e，则其单位为nat；若取a?=?10，则其单位为det。 对于一个以等概率出现的二进制码元（0，1），它所包含的信息量为： 若有一个m位的二进制数，其自信息量为： 即需要m bit信息来指明这样的二进制数。 若有两个消息xi，yj同时出现，则其自信息量定义为： p(xiyj)为联合概率。 若xi与yj相互独立，即 ，则有 若xi与yj的出现不是相互独立的，而是有联系的，此时，要用条件概率来表示，即在事件yj出现的条件下，事件xi发生的条件概率，其条件自信息量定义为： 例题2-1 英文字母中“a”出现的概率为0.063，“c”出现的概率为0.023，“e”出 现的概率为0.105，分别计算它们的自信息量。 解： 由自信息量的定义式，有 例题2-2 将二信息分别编码为A和B进行传送，在接收端，A被误收作B的概率为0.02；而B被误收作A的概率为0.01，A与B传送的频繁程度为2:1。若接收端收到的是A，计算原发信息是A的条件自信息量。 解：设U0表示发送A，U1表示发送B；V0表示接收A，V1表示接收B。 由题意知： 则接收到A时，原发信息是A的条件概率为： 2.2.2 离散信源熵 假设离散信息源是一个由n个符号组成的集合，称为符号集。符号集中每一个符号xi在消息中是按一定的概率p(xi)独立出现，其概率空间为: 且有： 。则 所包含的信息量分别为： 于是，每个符号所含信息量的统计平均值，即平均信息量为 由于H同热力学中的熵形式相似，故通常又称它为信息源的熵，简称信源熵，其单位为bit/符号。 前面定义的自信息量I(xi)是表征信源中各个符号的不确定性。由于信源中各个符号的概率分布（先验概率）不同，因而各个符号的自信息量就不相同，所以，自信息量不能作为信源总体的信息量。而平均信息量H(X)或信源熵H(X)是从平均意义上来表征信源的总体特征，因此可以表征信源的平均不确定性。 定义信源的平均不确定性H(X)为信源中各个符号不确定性的数学期望，即 ，称作信息熵，简称熵。 由于I(X)是非负值的量，所以熵H(X)也是非负值的，只有在p(x)?=?0和p(x)?=?1时，熵H(X)才为零[p(x)?=?0时，规定0log0?=?0，其合理性由极限 得证]。 例题2-3 一幅500×600的图像，每个像素的灰度等级为10，若为均