第二章 信源熵.ppt

单符号信源——信源每次输出一个符号,用离散随机变量描述 多符号信源——信源每次输出多个符号(符号序列)，用离散随 机矢量描述 离散信源——信源符号取值离散，包括单符号和多符号信源 连续信源——信源符号取值连续，用随机过程描述 [结论] 从概率、随机变量(过程)来研究信息 信息——对事物状态(存在方式)不确定性的描述 概率复习 例1：从26个英文字母中，随即选取一个字母，则该事件的自信息量为 I = -log2(1/26) = 4.7 比特 例2：设m比特的二进制数中的每一个是等概率出现的(这样的数共有2m个)，则任何一个数出现的自信息为: I = -log2(1/ 2m) = m 比特/符号 信源发出消息 的概率 称为先验概率，信宿收到 后推测信源发出 的概率称为后验概 率 。 定义 的后验概率与先验概率比值的对数为 对 的互信息量，用 表示，即 互信息量等于自信息量减去条件自信息量。 第三种表达方式： I(xi;yj) 可为正、负、0的举例 设yj代表“闪电”，则 当xi代表“打雷”时，I(xi|yj) = 0，I(xi;yj) = I(xi)＞0 当xi代表“下雨”时，I(xi|yj) ＜I(xi)，I(xi;yj)＞0 当xi代表“雾天”时，I(xi|yj) = I(xi)，I(xi;yj)= 0 当xi代表“飞机正点起飞”时，I(xi|yj)＞I(xi)，I(xi;yj) ＜0 联合集XYZ中,给定条件 下， 与 之间的互信息量，其定义式 这个平均自信息量的表达式和统计物理学中热熵的表达式很相似。在统计物理学中，热熵是一个物理系统杂乱性（无序性）的度量。这在概念上也有相似之处。因而就借用“熵”这个词把平均自信息量H（X）称为“信源熵”。 例：设某信源输出四个符号，其符号集合的概率分布为： 则其熵为： 例：有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文N=100001000=104000篇。仍按等概率1/100001000计算，平均每篇千字文可提供的信息量为 H（X）＝log2N＝4×103×3．32=1.3×104 比特／千字文 信源熵是从整个信源的统计特性来考虑的，它是从平均意义上来表征信源的总体信息测度的。对于某特定的信源（概率空间给定），其信源熵是一个特定的值。不同的信源因统计特性不同，其熵也不同。信源熵用以表征信息源的平均不确定性，平均自信息量是消除信源不确定性时所需信息的量度，即收到一个信源符号，全部解除了这个符号的不确定性。或者说获得这样大的信息量后，信源不确定性就被消除了。 对香农熵引入主观因素——效用权重系数(重量) 定义： 设信源X 则加权熵 Hw(X) [含义] 消息xi 的权重wi对I(xi)的加权平均 性质：略 从通信系统角度看熵的意义 H(X)：表示信源边每个符号的平均信息量（信源熵）； H(Y)：表示信宿边每个符号的平均信息量（信宿熵）； H(X|Y):信道疑义度(含糊度)，表示在输出端接收到Y后，发送端X尚存的平均不确定性。这个对X尚存的不确定性是由于信道干扰引起的。 H(Y|X):噪声熵，表示在已知X后，对于输出Y尚存的平均不确定性； H(XY):表示整个信息传输系统的平均不确定性； 联合熵H(XY)与熵H(X)及条件熵H(X/Y)之间存在下列关系: H(XY) ＝ H(X) ＋H(Y/X )  H(XY) ＝ H(Y) ＋H(X/Y ) 互信息量表示先验的不确定性减去尚存的不确定性，这就是收信者获得的信息量； 互信息量可能为正数、负数、0； 对于无干扰信道，I(xi;yj) = I(xi)； 对于全损信道，I(xi;yj) = 0； 为什么需要定义平均互信息量？ 互信息量 是定量地研究信息流通问题的重要基础。但它只能定量地描述输入随机变量发出某个具体消息 ，输出变量出现某一个具体消息 时，流经信道的信息量；此外 还是随 和 变化而变化的随机变量。 互信息量不能从整体上作为信道中信息流通的测度。这种测度应该是从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。 定义互信息量 在联合概率空间 中的统计平均值为Y对X的平均互信息量，简称平均互信息，也称平均交互信息量或交互熵。 平均互信息量 与其他熵的关系 I(X;Y) = H(X) - H(X|Y) 因为H(X),表