《信息论》部分作业详解.doc

第2章 信源熵 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍? 答：2倍，3倍。 一副充分洗乱了的牌(含52张牌)，试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同, 能得到多少信息量？解：(1) (2) 任取13张，各点数不同的概率为 居住某地区的女孩子有是大学生，在女大学生中有是身高160厘米上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ ：1.415比特。提示：设事件A表示女大学生，事件C表示160CM以上的女孩，则问题就是求p(A|C)， 2.4 设离散无忆信源，其发出的消息为，求 (1) 此消息的自信息量是多少？ (2) 在此消息中平均每个符号携带的信息量是多少？解：(1)87.81比特， (2)1.951比特。设信源，求这信源的熵，并解释为什么不满足信源熵的极值性。 提示：信源的概率之和大于1。同时掷两个正常的骰子，也就是各面呈现的概率都为，求： (1) “3和5同时出现”这事件的自信息量； (2) “两个1同时出现”这事件的自信息量； (3) 两个点数的各种组合(无序对)的熵或平均信息量； (4) 两个点数之和(即构成的子集)的熵； (5) 两个点数中至少有一个是1的自信息量。 解：(1) 4.17比特/符号，提示：3和5同时出现的概率为(2) 5.17(比特/符号，提示：两个1同时出现的概率1/36 (3) “”的概率:1/36,共有6种情况; “两个点数不同”的概率:1/18,共有15种情况.故平均信息量为: 4.337比特/符号 (4) 3.274比特/符号 (5) 1.711(比特/符号提示：至少有一个1出现的概率为证明教材式(2.1.26)和(2.1.28) 证明，并说明等式成立的条件。 提示：见教材第38页 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下： 若把这些频度看作概率测度，求： (1) 忙闲的无条件熵； (2) 天气状态和气温状态已知时忙闲的条件熵； (3) 从天气状态和气温状态获得的关于忙闲的信息。 解：(1) 先求忙闲的概率分布，无条件熵0.9637(比特/符号(2) H(XYZ)=2.8357 ， H(XYZ)- H(YZ)=0.8588(比特/符号(3) I(X;YZ)=H(X)-H(X/YZ)=0.1049比特/符号有两个二元随机变量，它们的联合概率为 Y 0 1 0 1 1/8 3/8 3/8 1/8 并定义另一随机变量(一般乘积)。试计算： (1) ； (2) 和； (3) 。 解： 比特/符号， 比特/符号， H(Y)=1比特/符号Z=XY的概率分布比特/符号 XZ的联合概率分布比特/符号YZ的联合概率分布比特/符号的联合概率分布， H(XYZ)=1.8113比特/符号 (2) H(X/Y)=H(XY)-H(Y)=1,8113-1=0.8113比特/符号比特/符号比特/符号比特/符号比特/符号比特/符号比特/符号比特/符号比特/符号 (3) I(X;Y)=H(X)-H(X/Y)=1-0.8113=0.1887比特/符号or I(X;Y)=H(X)+H(Y)-H(XY)=1+1-1.8113=0.1887比特/符号比特/符号比特/符号比特/符号比特/符号设有一个信源，它产生序列的信息。它在任意时间而且不论以前发生过什么符号，均按的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算； (3) 试计算并写出信源中可能有的所有符号。 解：(1) 是(2) 信源熵0.971比特/信源符号，比特/信源符号，由题设知道这个信源是无记忆信源，因此条件熵和极限熵都等于信源熵。 (3)比特/信源符号， 信源中可能的符号共16个。设是平稳离散有记忆信源，试证明：。 提示：见教材第44页，故 2.16 一阶马尔可夫信源的状态图如题2.16图所示。信源的符号集为。 (1) 求平稳后信源的概率分布； (2) 求信源的熵。 解：(1)由图得一步转移概率矩阵，，即 解方程组得状态极限概率， 又由得 (2) 2.17 黑白气象传真图的消息只有黑色和白色两种，即信源。设黑色出现的概率为p(黑)=0.3，白色的出现概率p(白)=0.7。 (1) 假设图上黑白消息出现前后没有关联，求熵； (2) 假设消息前后有关联，其依赖关系为p(白/白)=0.9，p(黑/白)=0.1，p(白/黑)=0.2，p(黑/黑)=0.8，求此一阶马尔可夫信源的熵； (3) 分别求上述两种信源的剩余度，比较的大小，并说明其物理意义。 解