信息论与编码习题综合 伟李伟.ppt

习题一、某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。(1) 求符号的平均熵；(2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式；(3) 计算(2)中序列的熵 习题二、从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？ 解： 男士： 女士： 习题三 每帧电视图像可以认为是由3?105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？ 习题四 设有一批电阻，按阻值分70%是2千欧，30%是5千欧；按瓦数分64%是1/8瓦，其余是1/4瓦。现已知2千欧阻值的电阻中80%是1/8瓦，问通过测量阻值可以平均得到关于瓦数的信息量是多少？ 习题五 设某一信源发出的符号为a，b，其分别出现的概率为0.7，0.3。 ①若符号出现前后无关，求该信源熵； ②若前后符号有关，依赖关系为p（a/a）=0.9，p（b/b）=0.8，求该信源的熵； ③分别求上述两种信源的冗余度，比较大小说明其物理意义。 * *