信息科学基础讲义三卷5-15.docVIP

周次：第5次 时间：2007年9月18日 章节： 第2章 信息的统计度量 P14～31 作业： 2.10，2.15，2.17，2.18 提纲： 三、熵 1. 定义 2. 含义 3. 联合、条件 4. 性质 1) 非负性 2) 对称性 3) 确定性 4) 扩展性 5) 最大熵定理 6) 可加性 7) 强可加性 8) 极值性 9) 上凸性 10) 递增性 诸位同学，大家上午好！咱们开始上课，在开始新的内容之前，按照惯例咱们先把上次课的内容复习一下。上次课的内容是第二章信息的统计度量，讲了一个大问题？是什么？（互信息量） 大家需要掌握的问题有这样几个。 1、流经信道的信息量是如何度量的？ 2、互信息量的公式是什么？ 3、互信息量的含义是什么？ 4、互信息量的三个表达形式是什么？ 5、联合互信息量和条件互信息量的公式分别是什么？ 6、互信息量的性质分别是什么？分别说明它们的含义。 好，这些问题都是上次课的重点内容，希望大家能够掌握。咱们开始今天的内容。前面课程讲到了自信息量，它是信源发出某个符号所携带的信息量大小，信源各个符号的概率不同，因此每个符号所携带的信息量大小怎么样？也各不相同。因此自信息量也是一个随机变量，随着信源发出符号的不同而变化。现在我们想要找到一个能够对信源信息量进行整体度量的方法，而不是仅考虑单个符号的信息量。也就是说，我们要解决的问题是：从整体上信源有多少不确定度或者多少信息量。这样我们就可以针对不同概率分布的信源，从总体上对它们的信息量进行比较。 请问，这个问题怎么解决？你们有类似的经验吗？举一个例子，假设有两个班，学生数不一定相同，每位学生的信息论期末成绩可能各不相同。要从整体上比较这两个班的考试成绩，应该怎么办？一个学生、一个学生的比显然比不出来，人数还不一样多。怎么比？对，用平均成绩的办法进行比较。 同样道理对信源信息量大小进行整体度量也用平均信息量的概念，也就是熵entropy。只是对于这个平均数的计算，我们需要特别说明一下。大家接触比较多的就像计算平均成绩一样，先把各个分量求总和，然后除以总数，这称为算术平均数。公式： 如果随机变量的n个取值，且都是等概率出现的。算术平均数可以反映整体状况，如果n个取值的概率不同，我们应该把概率考虑进去，这个时候平均数等于每个分量乘以它的概率再求和，称为加权平均数，或者随机变量的数学期望。公式： 你会看到算术平均数其实是加权平均数的特例，当随机变量等概率分布时，算术平均数与加权平均数相等。我们对信源计算信息量的时候就使用加权平均数，一定要考虑符号的概率，我们知道概率小的信息量大，但是由于概率小，它起的作用也小。 下面我们给出熵的定义： 注意：熵就是信源符号的平均信息量。公式里负号是自信息量带的符号，∑是求和运算符号，是n项求和，其中求和的每一项都是概率乘以概率的对数，n项求和的展开式为：。 我们再明确一下熵的含义：熵是信源符号的平均信息量，是信源符号的平均不确定度，是信源概率分布的整体描述。给定信源概率分布后，信源熵是一个固定的常数，因此可以作为信源整体信息量的度量。 熵的单位与自信息量单位一致，对数的底数不同单位不同。 好，关于熵的定义和公式我们就讲这么多。大家需要记住熵的公式，而且需要理解熵的含义，熵的含义是什么？大家说说看。熵是信源符号的平均信息量，是信源符号的平均不确定度，是信源概率分布的整体描述。好，下面咱们做几个例题，来练习一下熵的公式。 例1：某地二月份天气的概率分布统计如下： 计算信源的平均信息量。 解： 例2：电视屏上约有个格点，按每点有10个不同的灰度等级考虑，则功能组成个不同的画面。按等概率计算，平均每个画面可提供的信息量是多少？另外，有一篇千字文章，假定每字可从万字表中任选，则共有篇不同的千字文，仍按照等概率计算，平均每篇千字文可提供的信息量是多少？ 解： 请问，这两个信息量那个比较大？画面的信息量比较大。在日常生活中人们经常会说一句话，叫做“一图胜千文”。这种说法在这个例子中从信息论的角度给与了证明，它确实是成立的。 例3：一个布袋内放100个球，其中80个球是红色的，20个是白色的，若随即摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量，以及平均信息量。 解： 如果在熵的公式中再引入一个随机变量。两个随机变量之间有联合和条件的关系，在这种情况下就有联合熵和条件熵的概念。它们与熵的本质没有区别，都是平均不确定度的度量，因此联合熵就是联合自信息量的平均值，而条件熵就是条件自信息量的平均值。这里分别给出它们的公式，注意公式中的差别。 联合熵： 条件熵： 注意：又称为信道疑义度，表示收到后，对随机变量仍然存在不确定度，这是关于的后验不确定度。它又代表信源信息量在信道上的损失大小，因此又称为损