条件熵联合熵及熵的性质.ppt

2.1.3 条件熵及联合熵 条件熵是在联合符号集合 XY 上的 条件自信息量的数学期望 。 在已知随机变量 Y 的条件下，随机变量 X 的条件熵定义为： ) / ( log ) ( ) / ( ) ( )] / ( [ ) / ( 1 1 1 1 j i m j n i j i j i m j n i j i j i y x p y x p y x I y x p y x I E Y X H ?? ?? ? ? ? ? ? ? ? ? 要用联合 概率加权 条件熵是一个确定值，表示信宿在收到 Y 后，信源 X 仍然存 在的不确定度。这是传输失真所造成的。有时称 H(X/Y) 为 信道疑义度 ，也称损失熵。称条件熵 H(Y/X) 为 噪声熵 。 ) / ( log ) ( )] / ( [ ) / ( 2 1 1 i j n i m j j i i j x y p y x p x y I E X Y H ?? ? ? ? ? ? 条件熵 ? 联合离散符号集合 XY 上的每个元素对 的 联合 自信息量的数学期望 。 ) ( log ) ( ) ( ) ( ) ( j i n i m j j i j i n i m j j i y x p y x p y x I y x p XY H 2 1 1 1 1 ?? ?? ? ? ? ? ? ? ? ) ( j i y x 联合熵 ) ( ) ( ) ( ) ( ) ( Y X H Y H X Y H X H XY H ? ? ? ? 熵、条件熵、联合熵关系 ? 一个二进信源 X 发出符号集 {0,1}, 经过离散无记忆信道传 输 , 信道输出用 Y 表示 . 由于信道中存在噪声 , 接收端除收 到 0 和 1 的符号外 , 还有不确定符号“ 2” ? 已知 X 的先验概率 : p ( x 0 )=2/3, p ( x 1 )= 1/3, ? 符号转移概率： p ( y 0 | x 0 )=3/4, p ( y 2 | x 0 )=1/4 p ( y 1 | x 1 )=1/2, p ( y 2 | x 1 )=1/2 ， X Y 0 1 0 1 2 3/4 1/2 1/2 1/4 ? 信源熵 H(X) bit H X H 92 . 0 3 1 log 3 1 3 2 log 3 2 ) 3 1 , 3 2 ( ) ( ? ? ? ? ? 例题 得联合概率： p ( x 0 y 0 ) = p ( x 0 ) p ( y 0 | x 0 ) = 2/3 × 3/4 = 1/2 p ( x 0 y 1 ) = p ( x 0 ) p ( y 1 | x 0 ) = 0 p ( x 0 y 2 ) = p ( x 0 ) p ( y 2 | x 0 ) = 2/3 × 1/4 = 1/6 p ( x 1 y 0 ) = p ( x 1 ) p ( y 0 | x 1 ) = 0 p ( x 1 y 1 ) = p ( x 1 ) p ( y 1 | x 1 ) = 1/3 × 1/2=1/6 p ( x 1 y 2 ) = p ( x 1 ) p ( y 2 | x 1 ) = 1/3 × 1/2=1/6 ) / ( ) ( ) / ( ) ( ) ( j i j i j i j i y x p y p x y p x p y x p ? ? bit x y p y x p X Y H i j ij j i 88 . 0 2 1 log 6 1 2 1 log 6 1 4 1 log 6 1 4 3 log 2 1 ) | ( log ) , ( ) | ( ? ? ? ? ? ? ? ? ? 由 例题 ? 条件熵 H(Y|X) ? 联合熵 H(XY) H(XY) ＝ H(X) ＋ H(Y|X)=1.8bit/ 符号 ) ( ) ( ), ( ) ( 1 1 i m j j i j n i j i x p y x p y p y x p ? ? ? ? ? ? 得 p ( y 0 ) =∑ p ( x i y 0 ) = p ( x 0 y 0 ) + p ( x 1 y 0 ) =1/2+0 = 1/2 p ( y 1 ) =∑ p ( x i y 1 ) = p ( x 0 y 1 ) + p ( x 1 y 1 ) = 0+1/6 =1/6 p ( y 2 ) =∑ p ( x i y 2 ) = p ( x 0 y 2 ) + p ( x 1 y 2 ) = 1/6+1/6=1/3 由 bit H Y H 47 . 1 6 1 log 6 1 3 1 log 3 1 2 1 log 2 1 ) 6 1 , 3 1 , 2 1 ( ) ( ?