信息论与编码习题的答案.doc

第2章　　信源熵 2.1　试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解：以等概率出现的四进制码元(0, 1, 2, 3)，各个码元出现的概率均为，故： 同理可得八进制脉冲所含信息量为3 bit/符号 可见四进制、八进制脉冲所含信息量分别是二进制脉冲的2、3倍 2.2　假设一副充分洗乱了的扑克牌（含52张牌），试问： (1)　任一特定排列所给出的信息量是多少？ (2)　若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1)　整副牌共有种不同排列，因牌已充分洗均，每种排列是等概率的，则任一特定排列所给出的信息量为： (2)　从整副牌中随机抽取13张牌，共有种抽取法，所给出点数均不相同的抽取法为从每个点数的4张花色中抽取一张，共抽13次，共有种抽法，则所给出的点数都不相同能得到的信息量为： 2.3　居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩子是大学生”的消息，问获得多少信息量？ 解：设随机变量X代表女孩子学历，Y代表女孩子身高，即： 且： 故： 2.4　某离散无记忆信源 其发出的消息为： (202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)，求： (1)　此消息的自信息量是多少？ (2)　在此消息中平均每个等号携带的信息量是多少？ 解：此消息共有14个“0”，13个“1”，12个“2”，6个“3” (1)　此消息发出的概率为：，因此此消息的自信息量为： (2)　此消息平均每个符号携带的自信息量为： 2.5　从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含有多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？ 解：由已知可得男女色盲概率分布如下： 2.6　设信源，求这信源的熵，并解释为什么不满足信源熵的极值性？ 解： 原因： 2.7　同时掷两个正常的骰子，也就是各面呈现的概率都为，求： (1)　“3和5同时出现”这事件的自信息量； (2)　“两个1同时出现”这事件的自信息量； (3)　两个点数的各种组合(无序对)的熵或平均信息量； (4)　两个点数之和(即2, 3, (, 12构成的子集)的熵； (5)　两个点数中至少有一个是1的自信息量。 解：掷两个正常的骰子的概率空间为： (1)　 (2)　 (3)　两个点数的各种组合(无序对)的概率分别为： (4)　两个点数之和的概率空间为： (5)　两个点数中至少有一个是1的概率为： 2.8　证明 2.9　证明，并说明等式成立的条件 证： 当且仅当时等号成立，即： 进一步可推得：，即： 所以等号成立的条件是：是马氏链。 2.10　对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下： 若把这些频度看做概率测度，求： (1)　忙闲的无条件熵； (2)　天气状态和气温状态已知时忙闲的条件熵； (3)　从天气状态和气温状态获得的关于忙闲的信息。 解：总天数为天，由已知条件可得： 设交通忙闲、天气状态、气温状态状态分别为随机变量 (1)　 (2)　 (3)　 2.11　有两个二元随机变量X和Y，它们的联合概率为： YX 0 1 0 1/8 3/8 1 3/8 1/8 并定义另一随机变量(一般乘积)。试计算： (1)　 (2)　 (3)　 解：由已知条件可得XZ，YZ，XYZ的概率分布为： XZ 0 1 X Y P(XY) Z ? XY 0 4/8 0 0 1 1 3/8 1/8 0 0 1/8 1/8 0 YZ 0 1 0 1 3/8 3/8 0 0 4/8 0 1 0 3/8 3/8 0 1 3/8 1/8 1 1 1/8 0 1/8 (1)　 (2)　 (3)　 2.12　有两个离散随机变量X和Y，其和(一般加法)，若X和Y相互独立，求证： 证：由于X和Y相互独立，所以： ，从而有：，所以： 同理可证得： 又： 即： 2.13　设有一个信源，它产生0, 1序列的信息。它在任意时间而且不论以前发生什么符号，均按的概率发出符号。 (1)　试问这个信源是否是平稳的？ (2)　试计算及； (3)　试计算并写出信源中可能有的所有符号。 解：(1)　此信源在任何时刻发出的符号概率都是相同的，即信源发出符号概率分布与时间平移无关，而且信源发出的序列之间也是彼此无依赖的。因此这个信源是平稳信源，而且是离散无记忆信源。 (2)　 (3)　 信源中可能有的所有符号为