信息论习题答案.ppt

(2) bit x p x I x p i i i 170 . 5 36 1 log ) ( log ) ( 36 1 6 1 6 1 ) ( 2 2 ? ? ? ? ? ? ? ? 2 2 5 5 11 ( ) 1 6 6 36 11 ( ) log ( ) log 1.710 36 i i i p x I x p x bit ? ? ? ? ? ? ? ? ? (3) ? 2.2 设在一只布袋中装有 100 只对人手的感觉完全相同的木球， 每只球上涂有一种颜色。 100 只球的颜色有下列三种情况： （ 1 ）红色球和白色球各 50 只； （ 2 ）红色球 99 只，白色球 1 只； （ 3 ）红、黄、蓝、白色各 25 只； 求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。 (1) ( ) ( ) 50 /100 1/ 2 ( ) ( ) log2 1( ) (2) ( ) 99 /100 0.99 ( ) 1/100 0.01 ( ) log100 / 99 0.0145( ) ( ) log100 6.644( ) (3) ( ) ( ) ( ) ( ) 25/100 1/ 4 ( ) ( ) ( ) ( ) log4 2( ) p R p W I R I W bit p R p W I R bit I W bit p R p Y p B p W I R I W I W I W bit ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 2.3 在布袋中放入 81 个硬币，它们的外形完全相同。已 知有一个硬币的重量与其他 81 个硬币的重量不同，但 不知这一个硬币是比其他硬币重还是轻。问确定随意 取出的一个硬币恰好是重量不同的一个硬币所需要的 信息量是多少？若要进一步确定它比其他硬币是重一 些还是轻一些所需要的信息量是多少？ ( ) 1/81 ( ) log ( ) 6.34( ) p A I A P A bit ? ? ? ? ( ) ( ) 1/81 1/ 2 log(1/81 1/ 2) 7.34( ) p p A p B I bit ? ? ? ? ? ? ? ? 习题 2.4 居住在某地区的女孩中有 25% 是大学生，在女 大学生中有 75% 是身高 1.6 米以上的，而女孩中身高 1.6 米以上的占总数一半。假如我们得知“身高 1.6 米以上 的某女孩是大学生”的消息，问可获得多少信息量？ 解： 设随机变量 X 代表女孩子学历 X x 1 （是大学生） x 2 （不是大学生） P(X) 0.25 0.75 设随机变量 Y 代表女孩子身高 Y y 1 （身高 160cm ） y 2 （身高 160cm ） P(Y) 0.5 0.5 已知：在女大学生中有 75% 是身高 160 厘米以上的 即： p(y 1 / x 1 ) = 0.75 解： 设随机变量 X 代表女孩子学历 X x 1 （是大学生） x 2 （不是大学生） P(X) 0.25 0.75 设随机变量 Y 代表女孩子身高 Y y 1 （身高 160cm ） y 2 （身高 160cm ） P(Y) 0.5 0.5 已知：在女大学生中有 75% 是身高 160 厘米以上的 即： p(y 1 / x 1 ) = 0.75 求：身高 160 厘米以上的某女孩是大学生的信息量 , 即： 1 1 1 1 1 1 1 2 1 2 ( ) ( / ) ( / ) log ( / ) log ( ) 0.25 0.75 log 1.415 0.5 p x p y x I x y p x y p y bit ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 2.18 有两个二元随机变量 X 和 Y ，它们的联合概率为 X Y x 1 =0 x 2 =1 y 1 =0 1/8 3/8 y 2 =1 3/8 1/8 并定义另一随机变量 Z = XY （一般乘积），试计算： (1) H(X) , H(Y), H(Z), H(XZ), H(YZ) 和 H(XYZ) ； (2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ) 和 H(Z/XY) ； (3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X) 和 I(X;Z/Y) 。 2 1 8 3 8 1 ) ( ) ( ) ( 2 1 1 1 1 ? ? ? ? ? y x p y x p x p symbol bit y p y p Y H y x p y x p y p y