回顾上一讲内容数据处理定理如何描述当消息通过多级处.ppt

回顾上一讲内容 数据处理定理如何描述? 当消息通过多级处理器时，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 熵函数的代数性质: 1.非负性 2.对称性 H（x1，x2，…，xn）＝H（x2，x1，…，xn） ＝H（xn，x1，…，x2） ＝ … 3. 确定性 H(x) = H(0,0,…,1,…,0) = -{0log0+0log0+…+1log1+…+0log0} = 0 4. 香农辅助定理 5. 最大熵定理 H（X）= H(1/n,1/n,…,1/n) = logn 6. 条件熵小于无条件熵 连续信源熵(也叫相对熵)定义为: 峰值功率受限的最大相对熵定理 第四节 离散序列信源的熵 问题： 如何描述离散无记忆序列信源的序列熵？ 如何描述离散有记忆序列信源（平稳序列和齐次遍历马氏链信源）的序列熵？ 2.4.1 离散无记忆信源的序列熵 设信源输出的随机序列为X，X＝（X1 X2…Xl…XL），序列中的变量 即序列长为L。 设：随机序列的概率为 ： p(X=xi)=p(X1=xi1,X2=xi2,……,XL=xiL) =p(xi1)p(xi2/xi1)p(xi3/xi1xi2)…p(xiL/xi1xi2…xiL-1) =p(xi1)p(xi2/xi1)p(xi3/xi12)…p(xiL/xi1L-1) 式中 xi1L-1=xi1xi2…xiL-1 分析： （1）当信源无记忆（序列中的符号之间无相关性）时，p(xi)=p(xi1xi2…xiL)= 其中 （2）若信源的序列满足平稳特性（与序号l无关）时，有p(xi1)=p(xi2)=…=p(xiL)=p，p(xi)＝pL，则信源的序列熵又可表示为H(X)=LH(X). 平均每个符号熵为 HL(X)=H(X)/L=H(X)(单个符号信源的符号熵 ) 2.4.2 离散有记忆信源的序列熵 问题 对于由两个符号组成的联合信源，有下列结 论： （l）H（X1 X2）＝H（X1）＋H（X2／X1） = H（X2）+ H（X1／X2） （2）H（X1）≥H（X1／X2） H（X2） ≥ H（X2／X1） 当前后符号无依存关系时，有下列推论： H（X1 X2）＝H（X1）＋H（X2） H（X1）= H（X1／X2） H（X2）= H（X2／X1） 由有限个有记忆序列信源符号组成的序列 设：信源输出的随机序列为X，X＝(X1 X2…XL)， 则信源的序列熵定义为 H(X)=H(X1X2…XL) =H(X1)+H(X2/X1)+…+H(XL/X1X2….XL-1) 记作 H（X）=H（XL）= 平均每个符号的熵为  HL（X）=H（X）/L 若当信源退化为无记忆时，有 H（X）= H（Xl ） 若进一步又满足平稳性时，则有 H（X）=LH（X） 这一结论与离散无记忆信源结论一致。无记忆信源是上述有记忆信源的一个特例。 例2-4-1 已知: 离散有记忆信源中各符号的概率空间为: 现信源发出二重符号序列消息（ai,aj），这两个符号的概率关联性用条件概率p(aj/ai)表示，并由下表给出。求离散信源的序列熵和平均每个符号的熵? 解：条件熵 H（X2／X1）= 比特/符号 单符号信源熵 比特/符号 发二重符号序列的熵 H（X1 X2）=H（X1）+H（X2/X1） =1.543+0.872=2.415 比特/符号 平均符号熵 H2（X）=H（X2）/2=1.21 比特/符号