信息论与编码理论-习题答案 姜楠 王健 编著 清华大学.doc

第1章 绪论 信源、编码器、信道、干扰、译码器、信宿 香农 通信系统模型 信号是消息的表现形式，是物理的，比如电信号、光信号等。消息是信息的载荷者，是信号的具体内容，不是物理的，但是又比较具体，例如语言、文字、符号、图片等。信息包含在消息中，是通信系统中被传送的对象，消息被人的大脑所理解就形成了信息。 略 第2章 信息的统计度量 少 y的出现有助于肯定x的出现、y的出现有助于否定x的出现、x和y相互独立 FTTTF 2.12比特 依题意，题中的过程可分为两步，一是取出一枚硬币恰好是重量不同的那一枚，设其发生的概率为，由于每枚硬币被取出的概率是相同的，所以 所需要的信息量 二是确定它比其他硬币是重还是轻，设其发生的概率为，则 总的概率 所需要的信息量 设表示“大学生”这一事件，表示“身高1.60m以上”这一事件，则 故 四进制波形所含的信息量为，八进制波形所含信息量为，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。 故以3为底的信息单位是比特的1.585倍。 （1）J、Z（2）E（3）X （1）两粒骰子向上面的小圆点数之和为3时有(1, 2)和(2, 1)两种可能性，总的组合数为，则圆点数之和为3出现的概率为 故包含的信息量为 （2）小圆点数之和为7的情况有(1, 6), (6, 1), (2, 5), (5, 2), (3, 4), (4, 3)，则圆点数之和为7出现的概率为 故包含的信息量为 对于男性，是红绿色盲的概率记作，不是红绿色盲的概率记作，这两种情况各含的信息量为 平均每个回答中含有的信息量为 对于女性，是红绿色盲的概率记作，不是红绿色盲的概率记作，则平均每个回答中含有的信息量为 所以 天平有3种状态，即平衡，左重，左轻，所以每称一次消除的不确定性为，12个球中的不等重球（可较轻，也可较重）的不确定性为：，因为,所以3次测量可以找出该球。 （1）当最后3场比赛麦克胜的次数比大卫多时，麦克最终才能胜，因此 同理 麦克最终比赛结果的熵为 因为胜、负、平这3种结果接近等概，所以该随机变量的熵接近最大熵。 （2）假定大卫最后3场比赛全部获胜，那么麦克也必须全部获胜最后3场比赛最终才能得平，否则就是负。麦克3场比赛全部获胜的可能性是，因此在假定大卫最后3场比赛全部获胜的情况下麦克的最终比赛结果的条件熵是 （1）假定一个家庭里有个女孩，1个男孩，相应的概率是，因此女孩的平均数是，女孩的平均数和男孩的平均数相等。 （2） （1）根据题意，可以得到： ① ② 由式②可以得到： ③ 将式③代入式②得到： ④ 由于的取值必须在0到1之间，由式③和式④可以得到的取值范围在0.9到0.95之间。 (2)就业情况的熵为 它在的取值范围内的曲线如图所示。 （3）当时，达到最大值，这时，。 假设表示当地的实际天气情况，表示气象台预报的天气情况，表示总是预报不下雨的天气情况。 ，可见气象台预报的确实不好。 但是如果总是预报不下雨的话则会更糟，因为和是相互独立的两个随机变量，即，所以 因此气象台的预报准确率虽然比总是预报不下雨低，但还是传递了一些信息，消除了一些不确定性。 由互信息量的定义 因为，则有 同理，因为，则有 （1）根据熵的极值性，当随机变量等概分布时，随机变量的熵最大。有7个可能取值的随机变量的最大熵为，随机变量不是等概分布，所以。 （2）根据熵的递增性，。 （3） （4）因为随机变量是的函数，所以 假定为最大的概率。根据熵函数的性质，如果，则熵小于2；如果，则只有一种可能：。如果，则有无数个解，其中之一为；如果，则没有解。 第3章 离散信源 p(x2) 5 1 2 （1）87.81bit （2）1.95bit Hmax(X)=1 （1）消息符合的平均熵 （2）自信息量为 （3）（2）中的熵为 因为边沿分布 条件分布概率如下： 0 1 2 0 9/11 1/8 0 1 2/11 3/4 2/9 2 0 1/8 7/9 所以信息熵： 条件熵： 联合熵： 或 可知 解释： （1）信源的条件熵比信源熵少这是由符号之间的相互依存性造成的。 （2）联合熵表示平均每两个信源符号所携带的信息量。平均每一个信源符号所携带的信息量近似为 因此 原因：略去了和之间的依赖性。 由定义，信源的熵 信源的概率分布要求满足，而此题中。即各种可能发生的情况下，概率之和大于“1”。在实际情况下这是不可能发生的。 由题意可知，联合概率分布为 X Y1 0 1 0 1/4 0 1 0 1/4 2 1/4 1/4 X Y2 0 1 0 1/4 0 1 1/4 0 2 0 1/2 Y的分布为 Y1 0 1 p(y1) 1/2 1/2 Y2 0 1 p(y2)