uestc信息编码与加密第二章信息论基本概念3.pptVIP

(四） 平均互信息 一、定义 1.Y对X： 2.X对Y： 3.合写： [含义] 信道中流通信息量的整体测度 二、物理意义 1. I(X;Y)= H(X) – H(X/Y) (1) H(X)——信源熵：X的不确定度 H(X/Y)——已知Y时，对X仍剩的不确定度(疑义度） [结论] I(X;Y) ——“Y已知”，X的平均不确定度的减少量, 即获得了I(X;Y) 的信息量 (2) H(X)——信源含有的平均信息量(总，有用) I(X;Y)——信宿收到的平均信息量(有用部分) [结论] H(X/Y)—因信道有扰而丢失的平均信息量，故称损失熵 2. I(Y;X)= H(Y) – H(Y/X)= I(X;Y) (1) H(Y)——信宿的平均信息量 I(X;Y)——信道传输的平均信息量 [结论] H(Y/X)——因信道有扰而产生的假平均信息量，称噪声熵、散布度、扩散度 (2) H(Y)——Y的先验不定度 H(Y/X)——发出X后，关于Y的后验不定度 [结论] I(Y;X)——发X前后，Y平均不确定度的减少量 3. I(X;Y) = H(X) + H(Y) – H(XY) H(X) +H(Y)——通信前，整个系统的先验平均不确定度 H(XY)—— 通信后，整个系统仍剩余的平均不确定度 I(X;Y)—— 通信前后，整个系统平均不确定度的减少量，即传输的互信息。 [结论] I(X;Y)——平均每传送一个信源符号时， 流经信道的平均(有用)信息量 例 已知一个二元信源连接一个二元信道，如图所示。求I(X；Y)，H(XY)，H(X/Y)和H(Y/X)。 (1)求联合概率 p(x1y1)=0.5×0.98=0.49 p(x1y2)=0.5×0.02=0.01 p(x2y1)=0.5×0.80=0.40 p(x2y2)=0.5×0.20=0.10 (2)求p(yj) p(y1)=p(x1y1)+p(x2y1)=0.49+0.40=0.89 p(y2)=p(x1y2)+p(x2y2)=0.01+0.10=0.11 (3)求熵 H(X)=1 bit/符号 H(Y)=0.98 bit/符号 H(XY)=1.43 bit/符号 I(X；Y)=H(X)+H(Y)-H(X Y)=0.55bit/符号 H(X/Y)=0.45 bit/符号 H(Y/X)=0.43 bit/符号 三 、平均互信息的性质 1.非负性——I(X;Y) ≥0， 尽管I(xi;yj) 的某些值可为负 2.对称性——I(X;Y) = I(Y;X) 3.极值性—— I(X;Y) ≤ H(X) I(X;Y) ≤ H(Y) I(X;Y)= H(X) – H(X/Y) ＊当 H(X/Y) = 0 时， I(X;Y)= H(X) ——信道无噪（X、Y一一对应） ＊当 I(X;Y) = 0 时， H(X/Y) = H(X) ——信道中断（X、Y独立） 4. 凸函数性 (1) I(X;Y) 是信源概率分布P(X) 的上凸函数 （最大值）——信道容量的基础 (2) I(X;Y) 是信道转移概率P(Y/X) 的下凸函数 （最小值）——率失真函数的基础 5. 数据处理定理 I(X;Z) ≤ I(X;Y) I(X;Z) ≤ I(Y;Z) [意义] 信息不增原理—— 每经一次 处理，可能丢失一部分信息 信息不增原理证明I(X;Z) ≤ I(X;Y) I(X;YZ)=I(X;Y)+I(X;Z/Y) I(X;YZ)=I(X;Z)+I(X;Y/Z) I(X;Z)=I(X;YZ)-I(X;Y/Z)= I(X;Y)+I(X;Z/Y)- I(X;Y/Z) 假设在Y条件下 X与Z相互独立，则 I(X;Z)=I(X;Y)- I(X;Y/Z) 因为I(X;Y/Z)非负，所以I(X;Z) ≤ I(X;Y) 6.各种熵的关系 I(X;Y) = H(X) – H(X/Y) = H(Y) – H(Y/X) H(XY) = H(X) + H(Y/X) = H(Y) + H(X/Y) H(XY) + I(X;Y) = H(X) + H(Y)