《信息论与编码》陈运部分作业详解资料.pdf

第 2 章 信源熵 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍 ? 答： 2 倍， 3 倍。 2.2 一副充分洗乱了的牌 (含 52 张牌 ) ，试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取 13 张牌，所给出的点数都不相同 , 能得到多少信 息量？解： (1) log2 52! 13! (2) 任取 13 张，各点数不同的概率为 13 ，信息量：9.4793(比 C52 特/符号 ) 2.3 居住某地区的女孩子有 25 % 是大学生，在女大学生中有 75% 是身 高 160 厘米上的，而女孩子中身高 160 厘米以上的占总数的一 半。假如我们得知 “身高 160 厘米以上的某女孩是大学生 ”的消 息，问获得多少信息量？ 答案： 1.415 比特/符号。 提示 ：设事件 A 表示女大学生，事件 C 表示 160CM 以上的女孩，则问题就是求 p(A|C) ， 1 3 p( AC ) p(A) p(C | A) 4 4 3 p( A | C) p(C) p(C) 1 8 2 log2 p( A/ C) log2 3/8 1.415 2.4 设离散无忆信源 X a1 0 a2 1 a3 2 a4 3 ，其发出的消息 P X 3/8 1/ 4 1/ 4 1/8 为 (202120130213001203210110321010021032011223210) ，求 (1) 此消息的自信息量是多少？ (2) 在此消息中平均每个符号携带的信息量是多少？ 解：(1)信源符号的自信息量为 I(a )=-log p(a ) ，故 0,1,2,3 的自信息 i 2 i 量分别为 1.415、 2 、 2 、 3。 消息序列中 0，1，2，3 的数目分别为 14，13，12，6 ，故此消息 的自信息量为 1.415*14+2*13+2*12+3*6=87.81 比特， (2)87.81/45=1.951 比特。 X a a a a a a 2.6 设信源 1 2 3 4 5 6 ，求这信源的熵， P X 0.2 0.19 0.18 0.17 0.16 0.17 并解释为什么 H X log6 不满足信源熵的极值性。 提示 ：信源的概率之和大于 1。 2.7 同时掷两个正常的骰子