平均互信息量.ppt

平均互信息量不是从两个具体消息出发，而是从随机变量X和Y的整体角度出发，并在平均意义上观察问题，所以平均互信息量不会出现负值。 或者说从一个事件提取关于另一个事件的信息，最坏的情况是0，不会由于知道了一个事件，反而使另一个事件的不确定度增加。当然，必威体育官网网址通信中故意置乱的情况除外。 从一个事件提取关于另一个事件的信息量，至多是另一个事件的熵那么多，不会超过另一个事件自身所含的信息量。 当X和Y是一一对应关系时：I(X;Y)=H(X),这时H(X/Y)=0。从一个事件可以充分获得关于另外一个事件的信息，从平均意义上来说，代表信源的信息量可全部通过信道。 当X和Y相互独立时：H(X/Y)=H(X),I(Y;X)=0。从一个事件不能得到另一个事件的任何信息，这等效于信道中断的情况。 * 2.1.5 平均互信息量 一、平均互信息量定义 二、平均互信息量物理意义 三、平均互信息量性质 平均互信息量的定义：互信息量 在联合概率空间P(XY)中的 统计平均值。 一、平均互信息量的定义 称I(X;Y)是Y对X的平均互信息量平均互信息量简称平均互信息，也称平均 交互信息量或交互熵。 I(X;Y)克服了互信息量 的随机性，成为一个确定的量，因此，可以 作为信道中流通信息量的整体测度 二、平均互信息量的物理含义 （1）观察者站在输出端 （2）观察着站在输入端 （3）观察着站在通信系统总体立场上 （1）观察者站在输出端 H(X/Y)-----信道疑义度/损失熵。Y关于X的后验不确定度。表示收到变量Y后，对随机变量X仍然存在的不确定度。代表了在信道 中损失的信息 H(X)-----X的先验不确定度/无条件熵 I(X;Y)-----收到Y前、后关于X的不确定度减少的量。也就是从Y获得的关于 X的平均信息量 （2）观察者站在输入端 H(Y/X)------噪声熵。表示发出随机变量X后，对随机变量Y仍然存在 的平均不确定度。如果信道中不存在任何噪声，发送端和接 收端必存在确定的对应关系，发出X后必能确定对应的Y，而 现在不能完全确定对应的Y，这显然是由信道噪声引起的。 I(Y;X)------发出X前、后关于Y的先验不确定度减少的量。 （3）观察着站在通信系统总体立场上 H(XY)------联合熵。表示输入随机变量X，经信道传到信宿，输出随机 变量Y。即收、发双方通信后，整个系统仍然存在的不确定度。 I(X;Y)------通信前、后整个系统不确定度减少量。在通信前把X和Y 看成两个相互独立的随机变量，整个系统的先验不确定度为X和 Y的联合熵H(x)+H(y);通信后把信道两端出现X和Y看成由信道的 传递统计特性联系起来的、具有一定统计关联关系的两个随机变 量，这时整个系统的后验不确定度由H(XY)描述。 结论： 以上从三种不同的角度说明：从一个事件获得另一个事件的平均信息需要消除不确定度，一旦消除了不确定度，就获得了信息。 三、平均互信息量的性质 （1）对称性 （2）非负性 （3）极值性 （4）凸函数性 （5）数据处理定理 （1）对称性 I(X;Y)= I(Y;X) 该性质表示从集Y中获得关于X的信息量等于从集X中获得关于Y的信息量。I(X;Y)和 I(Y;X)只是观察着的立足角度不同。 当集X和集Y统计独立时，有I(X;Y)= I(Y;X)=0 它意味着不能从一个集获得关于另一个集的任何信息。 证明：根据互信息量的对称性 （2）非负性 I(X;Y) 结论： I(X;Y) H(X)； I(X;Y) H(Y) （3）极值性 证明：因为I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)，条件熵H(X/Y),H(Y/X)为非 负，故两个不等式成立。 凸函数性： 平均互信息量I(X;Y)是信源概率分布 的上凸函数； 该性质是研究信道容量的理论基础 平均互信息量I(X;Y)是信道传递概率 的下凸函数。 该性质是研究率失真函数的理论基础 （4）凸函数性 （5）数据处理定理 数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小 当对信号、数据或消息进行多级处理时，每处理一次，就有可能损失一部分信息，也就是说，数据处理会把信号、数据或消息变成更有用的形式，但是绝不会创造出新的信息。 *