信息论与编码习题解答.pdf

信信息息论论与与编编码码习习题题解解答答

信息论与编码习题解答

第⼀章

1.⼀位朋友很不赞成“通信的⽬的是传送信息”及“消息中未知的成才算是信息”这些说法。他举例说：我多遍地欣赏梅兰芳⼤

师的同⼀段表演，百看不厌，⼤师正在唱的正在表演的使我愉快，将要唱的和表演的我都知道，照你们的说法电视⾥没给我任

何信息，怎么能让我接受呢？请从信息论的⾓度对此做出解释。（主要从狭义信息论与⼴义信息论研究的内容去理解和解释）

答：从狭义信息论⾓度，虽然将要表演的内容观众已知，但是每⼀次演出不可能完全相同。⽽观众在欣赏的同时也在接受着新

的感官和视听享受。从这⼀⾓度来说，观众还是可以得到新的信息的。另⼀种解释可以从⼴义信息论的⾓度来析，它涉及了

信息的社会性、实⽤性等主观因素，同时受知识⽔平、⽂化素质的影响。京剧朋友们在欣赏京剧时也因为主观因素⽽获得了享

受，因此属于⼴义信息论的范畴。

2．利⽤下图（图1.2）所⽰的通信系统别传送同样时间（例如⼗钟）的重⼤新闻公告和轻⾳乐，它们在接收端各⽅框的输

⼊中所含的信息是否相同，为什么？

图1.2通信系统的⼀般框图

答：重⼤新闻是语⾔，频率为300~3400Hz，⽽轻⾳乐的频率为20~20000Hz。同样的时间内轻⾳乐的采样编码的数据要⽐语

⾳的数据量⼤，按码元熵值，⾳乐的信息量要⽐新闻⼤。但是在信宿端，按信息的不确定度，信息量就应别对待，对于新闻

与⾳乐的信息量⼤⼩在⼴义上说，因⼈⽽异。

第⼆章

1．⼀珍珠养殖场收获240颗外观及重量完全相同的特⼤珍珠，但不幸被⼈⽤外观相同但重量仅有微⼩差异的假珠换掉1颗。

（1）⼀⼈随⼿取出3颗，经测量恰好找出了假珠，问这⼀事件⼤约给出了多少⽐特的信息量；（2）不巧假珠⼜滑落进去，那

⼈找了许久却未找到，但另⼀⼈说他⽤天平最多6次能找出，结果确是如此，问后⼀事件给出多少信息量；（3）对上述结果

作出解释。解：（1）从240颗珍珠中取3颗，其中恰好有1颗假珠的概率为：

2

2393240

239!

2!237!240!3!237!

11/80240/3

CPC

??=

==

=

所以，此事件给出的信息量为：I=–log2P=log280=6.32(bit

（2）240颗中含1颗假珠，⽤天平等法最多6次即可找到假珠，这是⼀个必然事件，因此信息量为0。

（3）按照Shannon对信息量的定义，只在事件含有不确定成，才有信息量，并且不确定成越⼤，信息量也越⼤，必然事

件则没有信息量。但是从⼴义信息论的⾓度，如果那个⼈不知道⽤天平⼆法找假珠，另⼀个告诉他这个⽅法，使他由不知道

到知道，也应该含有⼀定的信息量。

2．每帧电视图像可以认为是由3?105个象素组成，所有象素均独⽴变化，且每⼀象素⼜取128个不同的亮度电平，并设亮度

电平等概率出现。问每帧图像含有多少信息量？如果⼀个⼴播员在约10000个汉字的字汇中选取1000个字来⼝述此电视图

像，试问⼴播员描述此图像所⼴播的信息量是多少（假设汉字字汇是等概率布，且彼此独⽴）？若要恰当地描述此图像，⼴

播员在⼝述中⾄少需⽤多少汉字？

解：由于每⼀象素取128个不同的亮度电平，各个亮度电平等概率出现。因此每个亮度电平包含的信息量为

I(X=–lb(1/128=lb128=7bit/像素

每帧图像中像素均是独⽴变化的，因此每帧图像信源就是离散亮度电平信源的⽆记忆N次扩展。由此，每帧图像包含的信息量

为

I(XN=NI(X=3?105?7=2.1?106bit/帧

⼴播员在约10000个汉字中选取字汇来⼝述此电视图像，各个汉字等概布，因此每个汉字包含的信息量为

I(Y=–lb(1/10000=lb1000=13.29bit/字

⼴播员述电视图像是从这个汉字字汇信源中独⽴地选取1000个字进⾏描述，因此⼴播员描述此图像所⼴播的信息量是

I(YN=NI(Y=1000?13.29=1.329?104bit/字

由于⼝述⼀个汉字所包含的信息量为I(Y，⽽⼀帧电视图像包含的信息量是I(XN，因此⼴播员要恰当地描述此图像，需要的

汉字数量为：

65(2.1101.5810(

13.29

NIXIY?=

=?字

3．已知X：1,0

P(X：p,1–p（1）求证：H(X=H(p

（2）求H(p并作其曲线，解释其含义。

（1）证明：H(X=I(X1+I(X2=–plbp