第3章 信息.docVIP

第三章 信息 1.信息的基本概念 ——信息与不确定性—— 定义1.从通信的角度看，信息就是信宿被消除了的不确定性，亦即增加了的确定性。（仙农Shannon） 式中 ——通信前的不确定性的测度 ——通信后仍然存在的不确定性的测度 ——信息与有序性、信息与熵—— 定义2.信息就是负熵。（维纳） 定义3.信息量的概念非常自然地从属于统计力学的一个古典概念——熵。正如一个系统中的信息量是它的组织程度的度量，一个系统的熵就是它的无组织程度的度量；这一个正好是那一个的负数。（维纳） 波尔茨曼的H定理：由于粒子的碰撞作用，函数H将随时间而单调减少，直到系统处于平衡状态。函数H的减少与熵S的增加是同一过程的两种相反的表示方法。H的减少与熵S的增加都表示系统混乱程度的增加。H的增加与S的减少都表示系统有序程度的增加。 S与H的关系： 薛定锷：Negative entropy 负熵 布里渊：negentropy 布里渊的负熵定理： I（信息）=S（熵）的减少 =N（负熵）的增加 ——信息与多样性、变异度—— 定义4：（阿西比）变异度即信息论中所讲的“信息”这一概念。变异度指某一集合中元素的差异程度。 当某一集合只包含同一类元素时，则这一集合是没有差异的，这意味着变异度是0。例如，下列12个元素组成的集合 ,a4 若不计a,b,c三者次序上的差异，则该系统的变异度为3； 若考虑a,b,c三者次序上的差异，则该系统的变异度为12。 ——信息与系统中物质、能量的不均匀分布—— 定义5.消息就是分布在时间上的可量事件的离散的或连续的序列——确切地说，就是统计学家所谓时间序列。（维纳） 定义 6.用来传送信息的消息，它的唯一统计性质，就是脉冲的频率（每秒钟的脉冲数）（V. Neumann 《计算机和人脑》）。 消息是一种周期性或近似周期性的脉冲序列。（V. Neumann 《计算机和人脑》） ——信息与系统和环境的关系—— 定义7：信息这个名称的内容就是我们对外界世界的调解，并使我们的调解为外界所了解，而与外界交换来的东西。（维纳《人有人的用处》） ——信息与物质、能量—— 维纳：信息不是物质，也不是能量。 定义8：信息不能离开物质而独立存在，它是物质的一种特殊属性。 其特点表现在： ——信息是表征一切物质属性（成分、结构、状态、特性、行为、功能）的特殊物质属性。 ——一个系统的信息只能在与其他系统的相互作用中表现出来。 ——信息可从该系统分离出来，转录到称为信息载体的物体上，而不改变原系统。 ——信息可以跨越时间和空间地传送和利用。 ——信息可以转录到载体上，盛载于人造符号之中。它不同于物质与能量，具有不守恒性和共享性。 2.信息论 技术科学层次上关于信息的理论 什么是信息论？ 2.1关于信息的理论，研究信息的定义、信息的度量、信息的变换、传输、接收、处理、存储和控制等问题。 2.2信息论的内容 1948年 Shannon, C.E. 《A mathematical theory of communication》 离散的无噪声系统；离散的噪声信道；数学预备知识；连续信道；连续信道的码率。 2.3通讯系统模型 2.4 信息论的科学体系 3.信息度量 3.1信息量的数学表达形式 为什么用对数形式来度量信息？ 信息量的两个基本特征。 从一个例子说起： 共有八排和八列。为了找到x的位置需要知道第一个消息：甲在第五排 第二个消息：甲在第四列。 特征一个可能消息中所含信息量是由该消息发生的概率决定的。 甲在第五排的消息中含的信息是由该消息发生的概率1/8决定的 甲在第四列的消息中含的信息是由该消息发生的概率1/8决定的 决定了信息发生概率的函数即 特征消息的信息量具有可加性：若A、B为同时发生的两个独立的消息，则 特征要求将乘积关系转化为加和关系。 问题是函数f取什么样的数学形式才能实现上述要求？ 只能选用对数形式，通过对数运算把乘积关系转化为加和关系。这是由哈特莱在1928年提出来的。 于是，自信息的定义是—— 3.2自信息 自信息：一个可能消息中所包含的信息量称为自信息。 定义1可能消息A的自信息记作I(A)，规定为 定义2 在给定消息B的条件下，消息A的条件自信息，记作，规定为 3.4互信息 定义3：消息A与B的互信息（既包含于A，又包含于B的信息量），记作，规定为 ——消息A和B同时发生的信息量。 3.5 自信息、条件自信息与互信息的关系 定理：对于任何可能消息A和B，有 互信息 =自信息 - 条件自信息 证明：由互信息定义 4. 仙农熵及其它 仙农熵（信息熵）——整体平均信息量—— 定义1：设有包含n个可能消息的集合X[或用消息向量表示]，分别以概率。随机地的发生[常用概率向量表示]，形成一个包含N个消息的序