信息论与编码（第4版）.pptVIP

第1章

信息论基础

第1章信息论基础

1.1信息的概念

物质、能量和信息是构成客观世界的

三大要素。信息是物质和能量在空间

和时间上分布的不均匀程度，或者说

信息是关于事物运动的状态和规律。

通信系统中形式上传输的是消

息，实质上传输的是信息，消息

中包含信息，消息是信息的载体。

信息论是研究信息的基本性质及度量方法，研究信息的

获取、传输、存储和处理的一般规律的科学。

对于信息论的研究，一般划分为三个不同的范畴：

狭义信息论，即通信的数学理论，主要研究狭义

信息的度量方法，研究各种信源、信道的描述和信

源、信道的编码定理。

实用信息论，研究信息传输和处理问题，也就是

狭义信息论方法在调制解调、编码译码以及检测理论

等领域的应用。

广义信息论，包括信息论在自然和社会中的新

的应用，如模式识别、机器翻译、自学习自组织系统、

心理学、生物学、经济学、社会学等一切与信息问题

有关的领域。

1.2数字通信系统

通信的基本问题是在彼时彼地精确地或近似地再现此时

此地发出的消息。

各种通信系统，一般可概括为图1.1所示的统计模型：

等效干扰

信道

信源信源编码器信道编码器

干

等效信源信

道扰

等效信宿源

信宿信源译码器信道译码器

图1-1信息传输系统模型

这个模型包括以下五个部分：

1.信源信源是产生消息的源。

2.编码器编码器是将消息变成适合于

信道传送的信号的设备。

信源编码器，提高传输效率

编码器

信道编码器，提高传输可靠性

3.信道信道是信息传输和存储的媒介。

4.译码器译码是编码的逆变换，分为

信道译码和信源译码。

5.信宿信宿是消息的接收者。

1.3信源及其数学模型

信源是产生消息的源，根据X的不同情况，信源可分为以下

类型：

连续信

离散信源源时间

波形信源

消息集离散而

X时间连续

为离散集空间连

的信源。

合。续的信

源。

根据信源的统计特性，离散信源又分为两种：

无记忆信源X的各时刻取值相互独立。

有记忆信源X的各时刻取值互相有关联。

1.3.1离散无记忆信源

1.离散无记忆信源

(DiscreteMemorylessSource，简记为DMS)，其输出的是

单个符号的消息，不同时刻发出的符号之间彼此统计独立，

而且符号集中的符号数目是有限的或可数的。离散无记忆

信源的数学模型为离散型的概率空间，即：

Xx1x2xI

