信息论基础第一章-绪论.ppt

第一章：绪论 图4 译码器的组成 研究内容 形成和发展 什么是信息 通信系统模型 1. 通信系统模型（续12） 5）信宿 信宿是消息传送的对象（人或机器）。 香农信息论不研究信宿。 第一章：绪论 研究内容 形成和发展 什么是信息 通信系统模型 1. 通信系统模型（续13） 第一章：绪论 提高有效性： （数据压缩） 信源编码：无失真信源编码和限失真信源编码 提高可靠性： （可靠传输） 信道编码 2.提高通信系统性能指标的措施 研究内容 形成和发展 什么是信息 通信系统模型 第一章：绪论 一、什么是信息 二、通信系统模型 三、信息论的研究内容 四、信息论的形成和发展 1. 信息论研究的主要问题 2. 什么是信息论 3. 信息论的应用 1. 信息论研究的主要问题 第一章：绪论 通信系统模型 形成和发展 什么是信息 研究内容 狭义信息论：又称香农信息论。 一般信息论：也叫工程信息论。 广义信息论 广义 信息论 一般 信息论 狭义 信息论 ? 1. 信息论研究的主要问题（续1） 1）什么是信息？如何度量信息？ 第一章：绪论 通信系统模型 形成和发展 什么是信息 研究内容 2）怎样确定信源输出信息的速率？ 3）对于一个信道，它传输信息的最高速率（信道容量）是多少？ 1. 信息论研究的主要问题（续2） 4）无失真信源编码，所需要的最少码符号数是多少？ 第一章：绪论 香农第一定理： 如果编码后的信源序列的编码信息率不小于信源的熵，那么一定存在一种无失真信源编码方法；否则，不存在这样的一种无失真信源编码方法。 通信系统模型 形成和发展 什么是信息 研究内容 1. 信息论研究的主要问题（续3） 5）在有噪声信道中，有没有可能实现几乎无差错的传输信息？ 第一章：绪论 香农第二定理：如果信道的信息传输率小于信道容量，那么总可以找到一种编码方式，使得当编码序列足够长时传输差错任意小；否则，不存在使差错任意小的信道编码方式。 通信系统模型 形成和发展 什么是信息 研究内容 1. 信息论研究的主要问题（续4） 6）如果信源编码时，允许一定的失真，那么信源编码所需要的最少码符号数又是多少？ 第一章：绪论 香农第三定理：对于任意的失真度 ，只要码字足够长，那么总可以找到一种编码方法，使编码后的编码信息率 ，而码的平均失真度 。 通信系统模型 形成和发展 什么是信息 研究内容 信息论是通信的数学基础，它以概率论为主要数学工具，详细研究了通信中的各个关键环节，以定理的形式给出了信源编码、信道编码的理论极限，为各种具体的通信技术提供了理论上的指导。 信息论创立的标志:香农于1948年发表 的论文： —— A Mathematical Theory of Communication （通信的数学理论） 2. 什么是信息论 通信系统模型 形成和发展 什么是信息 研究内容 第一章：绪论 2. 什么是信息论（续1） 以概率论、随机过程为基本研究工具。 第一章：绪论 通信系统模型 形成和发展 什么是信息 研究内容 研究的是通信系统的整个过程，而不是单个环节，并以编、译码器为重点。 关心的是最优系统的性能和怎样达到这个性能（并不具体设计系统）。 要求信源为随机过程，不研究信宿。 信息论的特点 信息论帮助通信工程师从全局的观点观察和设计通信系统。 信息论是从事信息通信系统研究和开发的必备的知识。 香农信息论的目标是研究通信系统的信息传递，而不是帮助人们理解信息含义。香农信息论有它的局限性。 2. 信息论的应用 第一章：绪论 通信系统模型 形成和发展 什么是信息 研究内容 2. 信息论的应用（续1） 通信的基本问题是在一点精确地或近似地恢复另一点（信源）所选择的消息。通常，这些消息是有含义的，但是这些语义方面的问题与通信问题无关，而重要的方面是实际消息是从一个可能的消息集合中选择出的一条消息。 ———— 香农 第一章：绪论 通信系统模型 形成和发展 什么是信息 研究内容 2. 信息论的应用（续2） 信息论的应用举例 语音信号压缩（G.711, GSM, Vocoder …） 计算机文件压缩 模拟话路中数据传输速率的提高 其他（音频信号压缩 MP3、图象信号的压缩JPEG, MPEG等） 第一章：绪论 通信系统模型 形成和发展 什么是信息 研究内容 第一章：绪论 一、什么是信息 二、通信系统模型 三、信息论的研究内容 四、信息论的形成和发展 1. 技术背景 2. 理论背景 3. 香农的主要工作 1. 技术