信息理论与编码课后答案第2章.doc

第二章 信息的度量习题参考答案 不确定性与信息 （2.3） 因为扑克牌充分洗乱，所以任一特定排列出现的概率是相等的。 设事件A为任一特定排列，则其发生概率为 可得，任一特定排列的不确定性为 比特 （2）设事件B为从中抽取13张牌，所给出的点数都不同。 扑克牌52张中抽取13张，不考虑其排列顺序，共有种可能的组合，各种组合都是等概率发生的。13张牌中所有的点数都不相同（不考虑其顺序）就是13张牌中每张牌有4种花色，所以可能出现的状态数为413。所以 则事件B发生所得到的信息量为 比特 2.4同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“2和6 同时出现”这事件的自信息量。 （2）“两个3同时出现”这事件的自信息量。 （3）两个点数的各种组合（无序对）的熵。 （4）两个点数之和（即2，3，…，12构成的子集）的熵。 （5）两个点数中至少有一个是1的自信息。 解：同时扔两个正常的骰子，可能呈现的状态数有36种，因为两骰子是独立的，又各面呈现的概率为，所以36种中任一状态出现的概率相等，为。 设“2和6同时出现”这事件为A。在这36种状态中，2和6同时出现有两种情况，即2，6和2，6。 所以 得 比特 设“两个3同时出现”这个事件为B。在这36种状态中，两个3同时出现只有一种状态，所以 得 比特 设两个点数的各种组合构成信源X。这信源X的符号集A就是这36种状态，并且其为等概率分布。得 所以 比特/状态 设两个点数之和构成信源Z，它是由两个骰子的点数之和组合，即Z=X+Y（一般加法）。 而 所以得 满足 则 比特 在这36种状态中两个点数中至少有一个数是1的状态共有11种，每种状态是独立出现的，每种状态出现的概率是1/36。现设两个点数中至少有一个数是1的事件为C事件，则得 所以 比特 2.5设在一只布袋中装有100只对人手的感觉完全相同的木球，每只上涂有1种颜色。100只球的颜色有下列三种情况： 红色球和白色球各50只； 红色球99只，白色球1只； 红，黄，蓝，白色各25只。 求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。 解：依题意，令R表示事件“取到的是红球”，W表示事件“取到的是白球”，Y表示事件“取到的是黄球”，B表示事件“取到的是蓝球”。 若布袋中有红色球和白色球各50只，即 则 bit 若布袋中红色球99只，白色球1只，即 则 bit bit 若布袋中有红，黄，蓝，白色各25只，即 bit 2.4 离散熵 （2.6）设信源为，。 （1）求信源的熵； （2）信源发出由个“0”和(100-)个“1”构成的序列，求序列的自信息量； （3）比较（1）（2）的计算结果。 解：(1) H(X)== = 0.54 bit/符号 (2) 考虑X为DMS I =mlog8+(100-m)log= 3m+(100-m)0.19 =2.81m+19 bit/符号序列 (3) (1) 计算出的值表示每个信源符号的统计平均信息量。 (2)计算出的值表示序列（长度100）的信息量，此时平均每个符号的信息量为 bit/符号。 （2.7）设信源为 求X的熵，并解释为什么，不满足信源熵的极值性。 解： bit/符号 不满足极值性的原因？ （2.8）大量统计表明，男性红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男子是否为红绿色盲，他回答“是”或“否”。 （1）这二个回答中各含多少信息量? （2）平均每个回答中含有多少信息量? （3）如果你问一位女子，则答案中含有的平均信息量是多少? 解：对于男性，是红绿色盲的概率记作，不是红绿色盲的概率记作，这两种情况各含的信息量为 bit bit 平均每个回答中含有的信息量为 bit 对于女性，是红绿色盲的概率记作，不是红绿色盲的记作，则平均每个回答中含有的信息量为