第2章-信息的统计度量.ppt

第二章 信息的统计度量 样本空间：把某事物可能出现的不同状态，即所有可能选择的消息的集合，成为样本空间。 概率测度：对离散消息的集合而言，对每一个可能选择的消息指定一个概率（非负，总和为1）。 概率空间：一个样本空间和它的概率测度称为一个概率空间。 一个概率空间用[X,P]表示。离散型的概率空间： X代表随机变量 xi代表随机事件的某一结果或某个元素 p(xi)=P(X=xi)，表示随机事件X发生某一结果xi的概率。 n是有限正整数或可数无限大 先验概率：p(xi); 后验概率：发送xi，收到yj，yj可能与xi相同也可能与xi不同，p(xi|yj)称为后验概率。 2.1 自信息量和条件自信息量 一、自信息量 已知道，信息是对不确定性的描述，而不确定性取决于事件发生的概率。因此，某事件发生所含有的信息量应该是该事件发生的先验概率的函数。 I(ai) = f[p(ai)] 该函数应满足以下条件： 1 I(ai)应是概率p(ai)的单调递减函数，即：当p(a1) p(a2)时有I(a1) I(a2)； 2 当p(ai)＝1时I(ai)＝0； 3 当p(ai)＝0时I(ai)→∞； 4 两个独立事件的联合信息量应等于它们分别信息量之和，即： 若: p(ai aj)＝p(ai) p(aj)， 则：I(aiaj)=I(ai)+I(aj)。 根据上述条件，可以从数学上证明这种函数形式是对数形式。 定义： 设离散信源X，其概率空间为 如果知道事件xi已发生，则该事件所含有的自信息定义为 取值：由于p(xi) ∈[0,1],I(xi)为非负。 单位：对数的底决定了信息量的单位：? 2—bit，e—nat，10—Hartley。 I(xi)是随机变量。 含义： 当事件xi发生以前：表示事件xi发生的不确定性。 当事件xi发生以后：表示事件xi所含有（或所提供）的信息量。在无噪信道中，事件xi发生后，能正确无误地传输到收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。这是因为消除了I(xi)大小的不确定性，才获得这么大小的信息量。 二、联合自信息量 定义：信源模型为 其中0≤p(xiyj)≤1 (i=1,2,…,n; j=1,2, …,m) 则联合自信息量为 当X和Y相互独立时，p(xiyj)=p(xi)p(yj) 两个随机事件相互独立时，同时发生得到的信息量，等于各自自信息量之和。 三、条件自信息量 定义：设yj条件下，发生xi的条件概率为p(xi /yj)，那么它的条件自信息量I(xi/yj)定义为 自信息量、条件自信息量和联合自信息量之间的关系 例：设在一正方形棋盘上共有64个方格,如果甲将一粒棋子随意地放在棋盘中的某方格内,让乙猜测棋子所在的位置: (1)将方格按顺序编号,令乙猜测棋子所在方格的顺序号 ; (2)将方格按行和列编号,甲将棋子所在的方格的行(或列)编号告诉乙,再令乙猜测棋子所在列(或行)的位置。 2.2互信息量和条件互信息量 最简单的通信系统模型： X—信源发出的离散消息集合； Y—信宿收到的离散消息集合； 信源X、信宿Y的数学模型为 一、互信息量 定义：对两个离散随机事件集X和Y,事件yj的出现给出关于事件xi的信息量定义为互信息量。 互信息量： yj对xi的互信息量定义为后验概率与先验概率比值的对数。 先验概率：信源发出消息xi的概率p(xi )。 后验概率：信宿收到yj后推测信源发出xi的概率p(xi / yj )。 互信息有两方面的含义： 表示事件 yj 出现前后关于事件 xi 的不确定性减少的量； 事件 yj出现以后信宿获得的关于事件 xi的信息量。 证明： 二、条件互信息量 定义：在给定zk条件下，xi与yj之间的互信息量。 定义式： 联合集XYZ上消息xi与消息对yj zk之间的互信息量为 2.3 平均自信息量—熵 一、平均自信息量 定义： 熵（信息熵）：自信息的数学期望。 信息熵的单位：取决于对数的底，一般以2为底，其单位为比特/符号。 信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，不同的信源因统计特性不同，其熵也不同。 规定：0.log0=0 即：0概率事件对于集X熵的贡献为0。 信源熵有以下二种物理含义。 H(X)是表示每个事件出现所提供的平均信息量； H(X)是表示集X中事件出现的平均不确定性； 若X表示信源，则H(X)称为信源熵。 平均自信息量的称谓：信息熵/信源熵