uestc信息编码与加密第二章信息论基本概念2.pptVIP

几个概念 定义： 在给定Y（即各个yj）条件下，X集合的条件熵 H(X/Y)定义为 H（X/Y）= 条件熵 下面通过推导说明求条件熵用联合概率加权的理由 先取在一个条件y下，X集合的条件熵H(X|y)为: H（X|y）＝ P(x|y)I(x|y) ＝－ P(x|y)logP(x|y) 进一步把H(X|y)在Y集合上取数学期望，就得条件熵H(X|Y)为： H（X|Y）＝ P(y)H（X|y） ＝－ P(y)P(x|y)logP(x|y) ＝－ P(xy)logP(x|y)  相应地，在给定X（即各个xi）的条件下，Y集合的条件 熵H(Y/X)定义为 H(Y/X)= 联合熵(共熵） 定义：联合熵是联合符号集合 XY上的每个元素对xiyj的自信息量的概率加权统计平均值。定义为： H（XY）= 说明: 联合熵H（XY）表示X和Y同时发生的平均不确定度。 联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在下列关系 H（XY）＝H（X）＋H（Y／X） H（XY）＝H（Y）＋H（X／Y） 证明: 由 所以 2）证明: H（XY）＝H（Y）＋H（X／Y） 由 所以 共熵H(XY)与熵H(X)及条件熵H(X|Y)之间有如下关系： H(XY)＝ H(X) ＋ H(Y|X) 推导如下： P（xy）＝ P（x）· P（y|x） I（xy）＝ I（x）+ I（y|x） H（XY）＝ H（X）＋ H（Y|X） 同理存在： H(XY)＝ H(Y) ＋ H(X|Y) 取对数 取统计平均 信源熵基本性质 1. 非负性 2. 对称性：各p(xi)次序可换 3. 最大熵 ：等概率时 H(X)max=log2m 若m=2, 则 H(X)= -plog2p – (1-p)log2(1-p)=H(p) [重要公式] 证明： H(X)－logM＝ P(X)log1/P(X)－ P(X)logM ＝ P(X)log1/[P(X)M] 在这里利用自然对数性质： lnω≤ ω－1 ,ω0 当且仅当ω＝1时，式取等 令ω＝1/[P(X)M],引用上述性质，得 H(X)－logM ≤ {P(X) · [ 1/[P(X)M]－1]}·loge ＝ [1/M－P(X)]·loge ＝[ 1/M － P(X)]·loge 括号中 1/M 和 P(X)的值均为1 所以， H(X)－logM ≤ 0，即 H（X）≤ logM 当且仅当ω＝1/[P(X)M]＝1,即P(X)＝1/M时，式取等 此定理说明：当X集合中的各个符号消息以等概率分布出现时，可得最大信源熵为 H(X)max＝logM [定理] 条件熵不大于信源熵(无条件熵) H(X/Y) ≤ H(X) H(Y/X) ≤ H(Y) 当且仅当Y和X相互独立时，式取等   证明： H(Y|X)－H(Y)＝ P(xy)log1/P(y|x)－ P(y)log1/P(y) ＝ P(xy)log1/P(y|x)－ P(y)P(x|y)log1/P(y) ＝ P(xy)log1/P(y|x)－ P(xy)log1/P(y) ＝ P(xy)logP(y)/P(y|x) 在这里同样利用自然对数性质：lnω≤ ω－1 ,ω0 当且仅当ω＝1时，式取等 令ω＝P(y)/P(y|x)，引用 lnω≤ ω－1 H(Y|X)－H(Y)≤ P(xy)[P(y)/P(y|x)－