信息技术一级汇总.ppt

大学信息技术基础 主讲：袁建红 计算机工程学院 Email: yjh_1123@ 1.1 探索信息的真谛 已知骰子有六个面，各为1、2、3、4、5、6个点。掷一次骰子，六种结局（点）的出现概率相等。如果告诉你某个人掷骰子的结局是单数或者双数，这就是一个信息。那么这个信息如何表示？又如何计算？ 质量、能量和信息量是三个非常重要的量 人们很早就知道用秤或者天平计量物质的质量大小。然而，我们关于热、燃料、功与能的计量问题，迟至19世纪中叶，随着热功当量的明确和能量守恒定律的建立才逐渐清楚。能量一词就是它们的总称，而能量的计量则通过“卡、焦耳”等新单位的出现而得到解决。 为阐明质量概念做出伟大贡献的是发现物体力学定律的牛顿(Sir Isaac Newton，1642-1727) 为阐明能量概念作出伟大贡献的是热力学第一定律的发现者们：迈耳(Julius Robert von Mayer，1814-1878)、焦耳(James Prescott Joule，1818-1899)、赫尔姆霍兹(Hermann von Helmholtz，1821-1894)等。 然而，关于文字、数字、图画、声音的知识已有几千年历史了。但是它们的总称是什么，它们如何统一地计量，直到19世纪末还没有被正确地提出来，更谈不上如何去解决了。20世纪初期，随着电报、电话、照片、电视、无线电、雷达等的发展，如何计量信号中信息量的问题被隐约地提上日程。 1.1.1 什么是信息？ 从不同角度对信息的理解： 1.最早对信息进行科学定义的是哈特莱（Ralph V.L. Hartley）。他认为，发信者所发出的信息，就是他在通信符号表中选择符号的具体方式，并主张用所选择的自由度来度量信息。 2.1948年，信息论创始人，美国科学家香农(C.E.Shannon)从研究通信理论出发，第一次用数学方法定义“信息就是不确定性的消除量”。认为信息具有使不确定性减少的能力，信息量就是不确定性减少的程度。 3.控制论创始人之一，美国科学家维纳(N.Wiener)指出“信息就是信息，不是物质，也不是能量。”维纳把人们与外界环境交换信息的过程看成是一种广义的通信过程，试图从信息自身具有的内容属性给信息定义。 4.关于信息的定义，有人提出用变异量来度量，认为“信息就是差异”。他提出：“信息是反映事物的形式、关系和差别的东西。信息是包含于客体间的差别中，而不是在客体本身中。” 5.信息是“事物运动状态和方式，也就是事物内部结构和外部联系的状态和方式”。 6.《辞源》对信息定义为：“信息就是收信者事先所不知道的报导。” 7.“信息是指对诸如事实、数据或观点之类的知识的传递或描述，这些知识可以存在于任何媒体或形式之中，包括文本形式、数字形式、图表形式、图形形式、叙述形式或视听形式。” 1.1.2 从信息论到信息科学 信息论发展的三个阶段： 狭义信息论（或经典信息论） 通信技术问题 一般信息论 仍是通信技术问题，但增加了噪声理论 广义信息论 超出了通信技术的范畴 1.1.3 香农对信息的定义 但是信息到底是什么呢？申农的狭义信息论第一个给予信息以科学定义：信息是有秩序的量度，是人们对事物了解的不确定性的消除或减少。信息是对组织程度的一种测度，信息能使物质系统有序性增强，减少破坏、混乱和噪音。 例如，厦门的秋天常常是秋高气爽，因此在这个季节里如果天气预报说:“明天白天晴”,人们习以为常，因而得到的信息量很小。但若天气预报说:“明天白天有雪”,人们将会感到十分意外，后一条天气预报给人们的信息量比前一条大，因为在厦门从来没有过下雪的天气。从这个例子，我们可以看出，消息出现的可能性越小，则此消息中携带的信息量就越多。反之，消息出现的可能性越大，则此消息中携带的信息量就越少。 另一方面，如果事件是必然的，即发生的概率为1,则它传递的信息量应为零;如果事件是不可能的，即概率为0，则它将有无穷的信息量。 如果我们得到不是由一个事件构成而是由若干个独立事件构成的消息，那么我们得到的总的信息量，就是若干个独立事件的信息量的总和。 1.1.4 信息的度量 从上例中，可以初步断定消息中所含的信息量H 与消息出现的概率有关。或者说是概率的函数。 H=H(px) 其中，p(x)是消息出现的概率。 而函数H 究竟是什么我们暂时还不知道。 根据上面的描述，为了计算信息量，消息中所含的信息量H与消息出现的概率间的关系