《平均信息量.ppt

2.1.4 平均互信息量 如果将信道的发送和接收端分别看成是两个“信源”，则两者之间的统计依赖关系，即信道输入和输出之间的统计依赖关系描述了信道的特性。 互信息量I(xi;yj)是定量研究信息流通问题的重要基础。它是一个随机变量，不能从整体上作为信道中信息流通的测度。 (1) 平均互信息量的定义 (2) 平均互信息量的物理含义 (3) 平均互信息量的性质 (1) 平均互信息量的定义 平均互信息量定义：互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。 称I(X;Y)是Y对X的平均互信息量（简称平均互信息/平均交互信息量/交互熵）。 X对Y的平均互信息定义为 平均互信息的第三种定义 平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性，成为一个确定的量。 (2) 平均互信息量的物理含义 ① 观察者站在输出端 ② 观察者站在输入端 ③ 观察者站在通信系统总体立场上 ① 观察者站在输出端 H(X/Y) —信道疑义度/损失熵。 Y关于X的后验不确定度。表示收到变量Y后，对随机变量X仍然存在的不确定度。代表了在信道中损失的信息。 H(X) —X的先验不确定度/无条件熵。 I(X;Y)—收到Y前、后关于X的不确定度减少的量。从Y获得的关于X的平均信息量。 ② 观察者站在输入端 H(Y/X)—噪声熵。表示发出随机变量X后，对随机变量Y仍然存在的平均不确定度。如果信道中不存在任何噪声，发送端和接收端必存在确定的对应关系，发出X后必能确定对应的Y，而现在不能完全确定对应的Y，这显然是由信道噪声所引起的。 I(Y;X) —发出X前、后关于Y的先验不确定度减少的量。 ③ 观察者站在通信系统总体立场上 H(XY)—联合熵。表示输入随机变量X，经信道传输到达信宿，输出随机变量Y。即收、发双方通信后，整个系统仍然存在的不确定度。 I(X;Y) —通信前、后整个系统不确定度减少量。在通信前把X和Y看成两个相互独立的随机变量，整个系统的先验不确定度为X和Y的联合熵H(X)+H(Y)；通信后把信道两端出现X和Y看成是由信道的传递统计特性联系起来的、具有一定统计关联关系的两个随机变量，这时整个系统的后验不确定度由H(XY)描述。 结 论 以上三种不同的角度说明：从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。 举 例 [例2.1.5] 把已知信源 接到图2.1.7所示的信道上，求在该信道上传输的平均互信息量I(X;Y)，疑义度H(X/Y)，噪声熵H(Y/X)，联合熵H(XY)。 解：(1) 求联合概率 p(xi yj)=p(xi)p(yj/xi) p(x1 y1)=p(x1)p(y1/x1)=0.5×0.98=0.49 p(x1 y2)=p(x1)p(y2/x1)=0.5×0.02=0.01 p(x2 y1)=p(x2)p(y1/x2)=0.5×0.20=0.10 p(x2 y2)=p(x2)p(y2/x2)=0.5×0.98=0.40 (2) 求Y的各消息概率 (3) 求X的各后验概率 (4) 求信源熵和联合熵 (5) 平均互信息 I(X;Y)=H(X)+H(Y)-H(XY)=1+0.98-1.43=0.55比特/符号 (6) 疑义度 (7) 噪声熵 (3) 平均互信息量的性质 ① 对称性 ② 非负性 ③ 极值性 ④ 凸函数性 ⑤ 数据处理定理 ① 对称性 I(X;Y)= I(Y;X) 证明：根据互信息量的对称性I(xi;yj)= I(yj;xi) 结论：由Y提取到的关于X的信息量与从X中提取到的关于Y的信息量是一样的。I(X;Y)和 I(Y;X)只是观察者的立足点不同。 自然对数性质：lnx≤x-1，x0，当且仅当x=1时取等号。 ② 非负性 I(X;Y)≥0 即 I(X;Y)≥0 当且仅当X和Y相互独立，即p(xiyj)= p(xi) p(yj) I(X;Y)=0 式中 结论： 平均互信息量不是从两个具体消息出发，而是从随机变量X和Y的整体角度出发，并在平均意义上观察问题，所以平均互信息量不会出现负值。 或者说从一个事件提取关于另一个事件的信息，最坏的情况是0，不会由于知道了一个事件，反而使另一个事件的不确定度增加。 ③ 极值性 I(X;Y)≤H(X) I(Y;X)≤H(Y) 证明：由于 I(X;Y)=H(X)- H(X/Y)≥0， I(Y;X)=H(Y)-