华工信息论2011级考卷.docx

华工信息论2011级考卷

一、选择题（每题2分，共20分）

A.信息量

B.概率

C.熵

D.功率

A.信息传输

B.信息处理

C.信息存储

D.信息创造

3.按照香农的定义，信息量的单位是？

A.瓦特

B.比特

C.焦耳

D.安培

A.H(X)=∑p(x)log?p(x)

B.H(X|Y)=H(X,Y)H(Y)

C.H(X,Y)=H(X)+H(Y)

D.H(X,Y)=H(X)H(Y)

A.熵

B.信道容量

C.误码率

D.信号功率

6.在离散无记忆信道中，信道容量C与信道带宽W和信噪比S/N的关系是？

A.C=Wlog?(1+S/N)

B.C=W/(1+S/N)

C.C=W(1+S/N)

D.C=Wlog?(S/N)

A.哈夫曼编码

B.香农编码

C.算术编码

D.循环冗余编码

A.信号衰减

B.信号干扰

C.信号失真

D.信号调制

A.数字通信

B.语音编码

C.图像压缩

D.量子通信

A.基因序列分析

B.蛋白质结构预测

C.信号转导

D.网络游戏设计

二、填空题（每题2分，共20分）

1.信息论是由_________和_________共同创立的。

2.信息量的计算公式为_________。

3.熵是描述信息_________的物理量。

4.信道容量是指_________在无误差传输条件下，单位时间内传输的最大信息量。

5.哈夫曼编码是一种_________编码方法。

6.在数字通信系统中，_________是衡量信息传输质量的重要指标。

7.信息论在_________领域的应用非常广泛。

8.互信息量I(X;Y)表示了_________与_________之间的相关性。

9.最大熵原理是指在所有概率分布中，_________的分布具有最大的不确定性。

10.信道编码的目的是为了提高信息传输的_________和_________。

三、简答题（每题10分，共30分）

1.简述信息论的基本概念及其相互关系。

2.什么是熵？熵在信息论中有什么重要作用？

3.简述香农公式及其在通信系统中的应用。

四、计算题（每题15分，共30分）

1.已知某信源的概率分布为：P(X=0)=0.4，P(X=1)=0.6。求该信源的熵。

2.已知一个离散无记忆信道，其输入概率分布为：P(X=0)=0.5，P(X=1)=0.5，信道转移概率矩阵为：

P(Y|X)=

[0.80.2]

[0.40.6]

求该信道的信道容量。

五、论述题（20分）

结合实际，论述信息论在现代社会中的重要作用及其应用领域。

一、选择题答案

1.D

2.D

3.B

4.C

5.A

6.A

7.D

8.C

9.D

10.D

二、填空题答案

1.香农，维纳

2.I(X)=log?P(X)

3.不确定性

4.信道

5.前缀

6.误码率

7.通信

8.X，Y

9.熵最大

10.可靠性，有效性

三、简答题答案

1.信息论的基本概念包括信息量、熵、信道容量等。信息量是描述事件不确定性的度量；熵是描述信源不确定性的物理量；信道容量是描述信道传输信息能力的度量。它们之间的关系是：熵越大，信息量越大，信道容量越小。

2.熵是信息论中描述信源不确定性的物理量。熵的作用有：衡量信息传输的可靠性、指导信源编码和信道编码、优化通信系统设计等。

3.香农公式：C=Wlog?(1+S/N)，其中C为信道容量，W为信道带宽，S/N为信噪比。香农公式在通信系统中的应用有：评估信道传输能力、指导通信系统设计、优化信号传输等。

四、计算题答案

1.H(X)=[0.4log?(0.4)+0.6log?(0.6)]≈0.971bits

2.H(Y)=[0.4log?(0.4)+0.6log?(0.6)]≈0.971bits

H(Y|X)=0.5[(0.8log?(0.8)+0.2log?(0.2))]+0.5[(0.4log?(0.4)+0.6log?(0.6))]≈0.736bits

I(X;Y)=H(Y)H(Y|X)≈0.235bits

信道容量C=I(X;Y)≈0.235bits

五、论述题答案

（略）

1.基本概念：信息量、熵、信道容量、信源、信道等。

2.理论基础：信息度量、熵的计算、信道编码、信道容量计算等。

3.应用领域：通信、生物信息学、数据压缩、网络安全等。

各题型知识点详解及示例：

1.选择题：考察学生对信息论基本概念、研究内容、公式及应用领域的掌握。例如，