信息论与编码(第三版).pptVIP

信息论与编码

计算器

•1

添加标题添加标题添加标题

简介是一门应用概率论、随奠基人：美国数学家香

机过程、数理统计和近农（）

代代数的方法，来研究

信息传输、提取和处理1948年“通信的数学理

中一般规律的学科。论”

•2

简介

l信息论的基本问题—信息的度量

l无失真信源编码定理—香农第一定理

l信道编码定理—香农第二定理

l信源编码、信道编码

•3

第1章

绪论

•4

1.1信息的概念

•5

几个常见概情报：是人们对于某个特定对象所见、所闻、

念所理解而产生的知识。

知识：一种具有普遍和概括性质的高层次的

信息，以实践为基础，通过抽象思维，对

客观事物规律性的概括。

消息：用文字、符号、语音、图像等能够被

人们感觉器官所感知的形式，把客观物质运

动和主观思维活动的状态表达出来。

•6

香农信息的度量

样本空间

01

某事物各种可能出现的不同状

态。

样本空间

概率测度

02概率测度

对每一个可能选择的消息指定

Xa1一a个2概率。an



P(x)p(a1)p(a2)