信息论基础ppt.ppt

* 美国的数学家哈特莱（Hartley)、香农(C.E.Shannon)、维纳(Winner)等人先后对信息给出了定义。 哈特莱：信息是选择的自由度； 香农：信息是用来消除不确定性的东西； 维纳：信息是人与外界相互作用的过程中所交换的内容与名称。 各种信息定义的差异：侧面不同、详略不同、抽象程度不同、概括层次高低不同。 根据不同的条件、区分不同的层次，可以给信息下不同的定义。 * 香农信息论层次：考虑事物运动状态及其变化方式的外在形式，实际上研究的是语法信息。 信息的抽象性和重要性 信息的5条主要特征 信息的11条重要性质 * * * 存在的普遍性：信息存在于自然界、人类社会，其本质是运动和变化的。哪里有事物的运动变化，哪里就会产生信息。它处处存在，它既区别于物质和能量，又与物质和能量有相互依存的关系。 有序性：要使一个系统从无序变为有序，必须从外界获取信息。 相对性：同一个事物，不同的观察者获得的信息量可能不同。 可度量性：信息的多少用信息量表示。 可扩充性 可存储、传输与携带性 * 可压缩性：信息论研究的主要问题之一。 可替代性：可替代劳力、资本、物质材料、时间。 可扩散性：可在短时间内较大范围扩散开。 可共享性：没有信息的共享性就没有人类社会的发展和进步。 时效性：信息是有“寿命”的。 抽象性：信息本身既看不见，又摸不着，没有气味、没有颜色、没有形状、没有大小、没有重量……，它是非常抽象的东西。 重要性：信息在信息化程度越来越高的社会中将起到越来越重要的作用，是比物质和能量更为宝贵的资源，全面掌握信息的概念，正确、及时、有效地利用信息，能够为人类创造更多的财富。 * 信息的定性认识和定量认识。 信息是一种非常复杂的的研究对象，信息分类有许多不同的准则和方法。 最重要的分类方法是按照信息性质的分类 信息性质分类的三个基本类型 * 按照信息来源：语声信息、图像信息、文字信息、数据信息、 计算机信息； 信息载体性质：语声信息、图像信息、文字信息、电磁信息、光学信息、生物信息； 携带信息的信号性质：连续信息、离散信息、半连续信息。 按照事物的运动方式，信息可进一步分为概率信息、偶发信息、确定信息、模糊信息；还可以分为有限状态和无限状态。 香农信息论主要研究语法信息中的概率信息。 * * * 香农信息论： 信息概念的深化； 网络信息理论和多重相关信源编码理论的发展和应用； 通信网的一般信息理论研究； 信息率失真理论的发展及其在数据压缩和图像处理中的应用； 信息论在大规模集成电路中的应用； 磁记录信道的研究等。 纠错码理论：在工程方面应用及最优编码方法研究。 维纳信息论：对量子检测和估计理论、非参数检测和估计理论以及非线性检测与估计理论的研究。 * 一般信息论 主要是研究信息传输和处理问题。除了香农基本理论之外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论。后一部分内容以美国科学家维纳（N·Wiener）为代表。 * 香农理论：香农研究的对象是从信源到信宿之间的全过程，是收、发端联合最优化问题，其重点是放在编码。他指出，只要在传输前后对消息进行适当的编码和译码，就能保证在干扰的存在下，最佳地传送和准确或近似地再现消息。为此发展了信息测度理论、信道容量理论和编码理论。 维纳理论：维纳研究的重点是在接收端。研究一个信号如果在传输过程中被某些因素（如噪声、非线性失真等）所干扰时，在接收端怎样把它恢复、再现，从干扰中提取出来。在此基础上，创立了最佳线性过滤理论（维纳滤波器）、统计检测与估计理论、噪声理论。 * ① 香农定义信息的出发点是假定事物状态可以用一个经典集合论为基础的概率模型来描述。实际存在的某些事物运动状态要寻找一个合适的概率模型往往是非常困难的。某些情况下，这一模型不一定存在。 ② 香农定义信息的度量没有考虑收信者的主观性和主观意义，也撇开了信息的具体含义、具体用途、重要程度和引起的后果等元素。这就与实际情况不完全一致。 香农信息的定义和度量是科学的，能反映信息的某些本质；但却是有缺陷的、有局限的。这样，它的适用范围会受到严重影响。 * * 统计信息论：也称狭义信息论/香农信息论。 主要研究信息测度、信道容量、信息率失真函数，与这三个概念相对应的香农三定理，信源编码，信道编码。 工程信息论：主要研究信息传输和处理问题。除香农基本理论之外，还包括噪声理论、信号滤波和预测、统计检测和估计理论、调制理论。后一部分内容以维纳为代表。 广义信息论：是一门综合性的新型学科—信息科学。至今没有严格的定义。凡是能够用广义通信系统模型描述的过程或系统，都能用信息基本理论来研究。不仅包括一般信息论的内容，还包括如医