第一章信息论基础辩析.ppt

虽然维纳和香农等人都是运用概率和统计数学的方法研究准确或近似再现消息的问题，都是通信系统的最优化问题。但他们之间有一个重要的区别。 维纳研究的重点是在接收端。研究消息在传输过程中受到干扰时，在接收端如何把消息从干扰中提取出来，并建立了最佳过滤理论（维纳滤波器）、统计检测与估计理论、噪声理论等。 发送 接收 香农研究的对象是从信源到信宿的全过程，是收、发端联合最优化问题，重点是编码。为此，发展了信息测度理论、信道容量理论和编码理论等等。 发送 接收 按照信息的性质 1 语法 语义 语用 按照观察的过程 实在 先验 实得 2 1.2 信息的分类 客观 主观 按照信息的地位 3 按照信息的作用 有用 无用 干扰 4 真实 虚假 不定 按照信息的逻辑意义 5 按照信息的传递方向 前馈 反馈 6 宇宙 自然 社会 思维 按照信息的生成领域 7 工业 农业 军事 政治 科技 文化 经济 市场 管理 按照信息的应用部门 8 语声 图象 文字 数据 计算 按照信息的来源 9 电磁 语声 图象 文字 光学 生物 按照信息载体的性质 10 连续 离散 半连续 按照携带信息的信号的性质 11 在众多的分类原则和方法中，最重要的就是按照信息性质的分类。 按照性质的不同可以把信息划分成语法信息、语义信息和语用信息三个基本类型。其中最基本也是最抽象的类型是语法信息。也是迄今为止在理论上研究得最多的类型。 语法信息考虑的是事物运动状态和变化方式的外在形式 。 当然，按照事物运动的方式，还可以把信息进一步细分为概率信息、偶发信息、确定信息和模糊信息。 香农信息论主要讨论的是语法信息中的概率信息，本书也以概率信息为主要研究对象。 全信息 语法信息 语义信息 语用信息 离散信息 明晰信息 连续信息 模糊信息 信息传输和传播手段经历了五次重大变革： 3 4 语言的产生。 文字的产生。 印刷术的发明。 电报、电话的发明。 1 2 计算机技术与通信技术相结 合，促进了网络通信的发展。 5 1.3 信息传输系统 通信的基本问题是在彼时彼地精确地或近似地再现此时此地发出的消息。 各种通信系统，一般可概括的统计模型： 干扰源 信道 信道译码器 信道编码器 信源译码器 信源译码器 信宿 信源 等效信源 等效信宿 等效干扰信道 信息传输系统模型 这个模型包括以下五个部分： 3. 信道 信道是信息传输和存储的媒介。 4. 译码器 译码是编码的逆变换，分为信道译码和信源译码。 5. 信宿 信宿是消息的接收者。 2. 编码器 编码器是将消息变成适合于信道传送的信号的设备。 1.信源 信源是产生消息的源。 编码器 信源编码器，提高传输效率 信道编码器，提高传输可靠性 通信系统模型方框图: 信源 信宿 信源 编码 加密 信源 译码 解密 信道 编码 信道 译码 信道 干扰 噪声 1.3 信息传输系统 信息度量的方法有：结构度量、统计度量、语义度量、语用度量、模糊度量等等。最常用的方法是统计度量。它用事件统计发生概率的对数描述事物的不确定性，得到消息的信息量，建立熵的概念。熵概念是香农信息论最基本最重要的概念。 信息论是在信息可以度量的前提下，研究 有效地、可靠地、安全地传输信息的科学。 香农信息论 信源熵 无失真信源编码定理 信源编码 信道编码 率失真函数 限失真信源编码定理 信道容量 信道 编码定理 密码 香农信息论 1 * 1948年，香农发表“通信的数学理论”，标志着信息论的正式诞生 C.E.Shannon, A Mathematical Theory of communication, Bell System Tech.J, vol.27, PP 379-423, July 1948 在前人工作基础上，用概率统计方法研究通信系统 揭示：通信系统传递的对象——信息 提出：信息熵、信息量 指出：通信系统的中心问题—— 噪声背景下如何有效、可靠地传递信息 实现的主要方法——编码 提出了无失真信源编码定理、信道编码定理 1.4 编码理论的发展 1.4.1 无失真信源编码 信息论与编码 陈运 主编 电子工业出版社 课程介绍 信息论——美国数