信息论与编码序论.ppt

一般信息论 香农 信息论 噪声理论 调制 理论 信号滤波预测理论 统计检测估计理论 虽然维纳和香农等人都是运用概率和统计数学的方法研究准确或近似再现消息的问题，都是通信系统的最优化问题。但他们之间有一个重要的区别。 维纳研究的重点是在接收端。研究消息在传输过程中受到干扰时，在接收端如何把消息从干扰中提取出来，并建立了最佳过滤理论（维纳滤波器）、统计检测与估计理论、噪声理论等。 发送 接收 香农研究的对象是从信源到信宿的全过程，是收、发端联合最优化问题，重点是编码。为此，发展了信息测度理论、信道容量理论和编码理论等等。 发送 接收 反过来，所有研究信息的识别、控制、提取、变换、传输、处理、存贮、显示、价值、作用、安全以及信息量的大小的一般规律以及实现这些原理的技术手段的工程学科，信息论的完备和延伸，也都属于广义信息论的范畴。 概括说来，凡是能够用广义通信系统模型描述的过程或系统，都能用信息基本理论来研究。 广义信息论 3 总之，人们研究信息论的目的是为了高效、可靠、安全并且随心所欲地交换和利用各种各样的信息。 研究对象：信息论是一门应用概率论、随机过程、数理统计和近世代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的工程学科。 最简单的通信系统模型 通信系统的三个基本单元： 信源（Source）、 信道（Channel）、 信宿（Destination）。 研究目的：它的主要目的是提高信息系统的可靠性、有效性和安全性以便达到系统最优化。 信源是提供消息的人、设备或事物。 ??打电话时人发出的声音 ?? 因特网上可供浏览的网页 广播、电视发送的节目信号 ??天体天电信号 人们最感兴趣的是信源给出的消息。 消息是由符号、文字、数字、语声、图像等组成的序列。 根据上述特征和信息的基本定义，可以导出信息的一些重要性质： 存在的普遍性 有序性 相对性 可度量性 同可扩充性 可存储、传输与携带性 信息在信息化程度越来越高的社会中将起到越来越重要的作用，是比物质和能量更为宝贵的资源，全面掌握信息的概念，正确、及时、有效地利用信息，能够为人类创造更多的财富。 可压缩性 可扩散性 可替代性 可共享性 时效性 信息的 独有性质 §1.1 信息的一般概念 §1.3 信息论的起源、发展及研究内容 §1.2 信息的分类 按照信息的性质 1 语法 语义 语用 按照观察的过程 实在 先验 实得 2 客观 主观 按照信息的地位 按照信息的作用 有用 无用 干扰 3 4 真实 虚假 不定 按照信息的逻辑意义 按照信息的传递方向 前馈 反馈 5 6 宇宙 自然 社会 思维 工业 农业 军事 政治 科技 文化 经济 市场 管理 按照信息的生成领域 7 按照信息的应用部门 8 语声 图象 文字 数据 计算 电磁 语声 图象 文字 光学 生物 按照信息的来源 9 按照信息载体的性质 10 连续 离散 半连续 按照携带信息的信号的性质 11 在众多的分类原则和方法中，最重要的就是按照信息性质的分类。 按照性质的不同可以把信息划分成语法信息、语义信息和语用信息三个基本类型。其中最基本也是最抽象的类型是语法信息。也是迄今为止在理论上研究得最多的类型。 全信息 语法信息 语义信息 语用信息 离散信息 明晰信息 连续信息 模糊信息 语法信息考虑的是事物运动状态和变化方式的外在形式 。 当然，按照事物运动的方式，还可以把信息进一步细分为概率信息、偶发信息、确定信息和模糊信息。 香农信息论主要讨论的是语法信息中的概率信息，本书也以概率信息为主要研究对象。 §1.1 信息的一般概念 §1.3 信息论的起源、发展及研究内容 §1.2 信息的分类 信息论自诞生到现在不过70年，在人类科学史上是相当短暂的。但它的发展和对学术界及人类社会的影响是相当广泛和深刻的。信息作为一种资源，如何开发、利用、共享，是人们普遍关心的问题。 在人类历史的长河中，信息传输和传播手段经历了五次重大变革： 语言的产