《信息论与编码理论》（王育民李晖梁传甲）课后习题答案高等教育出版社.docx

《信息论与编码理论》（王育民李晖梁传甲）课后习题答案高等教育出版社.docx

信息论与编码理论习题解

第二章-信息量和熵

2.1解:平均每个符号长为：20.2-0.4二兰秒

3

3

15

每个符号的熵为-log-1Iog3=0.9183比特/符号

3

23

所以信息速率为0.9183

3.444比特/秒4

2.2解：同步信号均相同不含信息，其余认为等概，

每个码字的信息量为3*2=6比特;所以信息速率为61000=6000比特/秒

解:(a)—对骰子总点数为7的概率是-

36

所以得到的信息量为Iog2(~6)=2.585比特

36

(b)一对骰子总点数为12的概率是1

36

所以得到的信息量为Iog2丄=5.17比特

36

解：(a)任一特定排列的概率为古,所以给出的信息量为

1

-Iog2

225.58比特

52!

(b)从中任取13张牌,所给出的点数都不相同的概率为

13!413413A13C13A52C52

C13

所以得到的信息量为

log2C?=13.21比特.4

2.5解:易证每次出现i点的概率为丄,所以

21

2.32.4

I(^i^-log2-,i=1,2,3,4,5,6

21I(x=1)=4.392比特I(x=2)=3.392比特I(x=3)=2.807比特I(x=4)=2.392比特I(x=5)=2.070比特I(x=6)=1.807比特

6

H(X)

i

log2

i

2.398比特

i4

2121

2.6解：可能有的排列总数为

27720

3!4!5!

没有两棵梧桐树相邻的排列数可如下图求得,YXYXYXYXYXYXYXY

一

(7\

一

图中X表示白杨或白桦，它有7

种排法，Y表示梧桐树可以栽

(8\

df八

种的位置，它有8

种排法，所以共有

8

*

=佃60种排法保证没有

I5丿

八3丿

两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为Iog227720-Iog21960=3.822比特2.7解：X=0表示未录取，X=I表示录取；

Y=0表示本市，Y=I表示外地；

Z=O表示学过英语，Z=I表示未学过英语，由此得

31P(X=O),P(X=I)

,

4

4

p(y=O)=P(X=O)P(y=Ox=0)十P(X=I)P(y=OX=1)—J

5=Oy=O)p(y=1)p(z=0y=1)

_13_25

,

131

/-1045111P(X=Iy=O)=p(y=0x=1)p(x=1)∕p(y=0)=—-/-=

245

P(X=Oy=0)P(X=Iy=0)

p(x=1y=O)log2-

P(X=O)P(X=I)

58

log2θ

4比特

(b)P(X=OZ=O)

=(p(z=Oy=O,x=O)p(y=Ox=O)+p(z=Oy=1,x=O)p(y=1x=O))p(x=O)∕p(z=O)194=(———)-/

1O1O1O4251O4

P(X=IZ=O)

=(P(Z=Oy=O,x=1)p(y=0x=1)+p(z=Oy=1,x=1)p(y=1x=1))p(x=1)/P(Z=O)=(1.1Z)1

虎一—

2

25

425

104

P(X=OZ=0)

I(X;z=O)=P(X=OZ=O)log2-----------------+

P(X=O)

69

35

単og2马4亜g马

4

104

2

3104

2

1

4

4

=0.02698比特

341

(C)H(X)=log23Jog24=0?8113比特

H(YX)=P(X=O)p(y=OX=0)l0g2p(y=Ox=0)十p(x=O)p(y=1X=O)log2p(y=1x=0)十

113

1

=—X—+—×—

4241014

p(y=1)=1-

55

P(Z=O)=P(^O)P(Z14

40=

+X:

55100

1312P(Z=I)=1-

25

25

_3

858

(a)P(X=Oy=O)=p(y=Ox=0)p(x=0)/p(y=0)=

I(X;y=0)=P(X=Oy=O)Iog233

8

54=0.45