信息论与编码课后习题答案【DOC精选】.doc

信息论与编码课后习题答案 第二章 2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解： (1) (2) (3) 两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 共有21种组合： 其中11，22，33，44，55，66的概率是 其他15个组合的概率是 (4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下： (5) 2.4 2.12 两个实验X和Y，X={x1 x2 x3},Y={y1 y2 y3},l联合概率为 如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？ 如果有人告诉你Y的实验结果，你得到的平均信息量是多少？ 在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？ 解：联合概率为 Y X y1 y2 y3 x1 7/24 1/24 0 x2 1/24 1/4 1/24 x3 0 1/24 7/24 =2.3bit/符号 X概率分布 X x1 x2 x3 P 8/24 8/24 8/24 bit/符号 Y概率分布是 =0.72bit/符号 Y y1 y2 y3 P 8/24 8/24 8/24 2.15 P(j/i)= 2.16 黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。 （1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图 （2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。 （3）比较两种信源熵的大小，并说明原因。 解：（1）bit/符号 P(黑|白)=P(黑) P(白|白)＝P(白) P(黑|黑)＝P(黑) P(白|黑)＝P(白) （2）根据题意，此一阶马尔可夫链是平稳的（P(白)＝0.7不随时间变化，P(黑)＝0.3不随时 间变化） ＝0.512bit/符号 2.25 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 (1) 求符号的平均熵； (2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。 解： (1) (2) (3) 2.26 P(i)= P(ij)= H(IJ)= 第三章 3.1 设二元对称信道的传递矩阵为 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1) 2) 其最佳输入分布为 3.2某信源发送端有2个符号，，i＝1，2；，每秒发出一个符号。接受端有3种符号，j＝1，2，3，转移概率矩阵为。 计算接受端的平均不确定度； 计算由于噪声产生的不确定度； 计算信道容量。 解： 联合概率 X Y 0 则Y的概率分布为 Y （1） 取2为底 （2） 取2为底 取e为底 = 0 3.7 (1) 条件概率 ，联合概率，后验概率 ， ， （2） H(Y/X)= （3） 当接收为y2，发为x1时正确，如果发的是x1和x3为错误，各自的概率为： P(x1/y2)=，P(x2/y2)=，P(x3/y2)= 其中错误概率为： Pe=P(x1/y2)+P(x3/y2)= （4）平均错误概率为 （5）仍为0.733 （6）此信道不好 原因是信源等概率分布，从转移信道来看 正确发送的概率x1-y1的概率0.5有一半失真