第二章信息论.ppt

2、概率信息的表示－概率空间法 概率空间 由随机试验中的基本事件及其发生的相应的概率组成，即： 其中Xi表示事物运动的n种可能状态；Pi则是相应的运动状态发生的概率，且P1＋P2＋…＋Pn＝1 概率空间法 就是用概率空间来描述随机事件的运动状态和方式的不确定性。 实例： 掷骰子有六个基本事件，即出现一点、二点、三点、四点、五点、六点的状态，分别记做X1、X2、X3、X4、X5、X6 ，其相应的概率分别为P1、P2、P3、P4、P5、P6、，且P1＋P2＋P3＋P4＋P5＋P6＝1，则掷骰子的概率空间为 先验信息概率空间 后验信息概率空间 设试验结果出现了X1状态，则不确定性消除，其概率空间为： 实得信息概率空间 三、概率信息的度量 信息度量的总原则:以关于事物的运动状态和方式的知识量来计算。 1、用概率的负对数度量信息 概率是用来是表示随机事件发生的可能性大小的量，所以可以用它来定量的描述信息量。信息量的大小取决于事件发生的可能性的大小，概率小的事件，信息量多，概率大的事件信息量小，所以信息量是概率的单调递减函数。 两种极端情况 必然事件：概率为1，信息量为0。 不可能事件：概率为0，信息量无穷大。 信息量的表示 说明： 信息量的单位随a的取值不同而不同（a＝2，比特；a＝e，奈特；a＝10，笛特） 使用对数是为了计算方便 使用负号是为了保证信息量总是正的 实得信息量的表示 一般情况下，如果某事件发生的概率为P1(先验概率)，在获得一定的信息后该事件发生的概率为P2（后验概率），则获得的信息量为 证明： 2、信息的组合 当几条信息是互不包含、完全独立的信息时，其组合信息量满足信息加法原则。 例：设教室有20排座位，每排30个位置。先寻找某为同学，问人，回答为1是单号、2在第8排、3在第8排单号，求各条信息所包含的信息量。 1 2 3 3、平均信息量 设某一事件X，其试验结果的集合为X＝（X1，X2……Xn），相应的概率分布P＝（P1，P2……Pn），S为信息结构，则用概率空间法表示信息为： 由信息量的定义知每种结果所具有的信息量分别为：－logaP1， －logaP2…… －logaPn，如果这个事件X试验m次，相当于信源发出一个有m各消息的消息序列，则这个事件的各种状态分别出现的次数是mP1，mP2……mPn次，则这个消息序列的信息量为： 设平均信息量为I(P),则： 对信息量的认识理解 衡量信息多少的物理量称为信息量。 信息量的大小与消息所描述事件的出现概率有关。 若概率很小，受信者感觉很突然，该消息所含信息量就很大； 若概率很大，受信者事先已有所估计，则该消息信息量就越小； 若受信者收到完全确定的消息，则没有信息量。 第四节 信息方法 一、信息方法的基本步骤与特点 1、信息方法的概念 信息方法是运用信息的观点，把系统的过程抽象为信息传递和信息转换的过程，通过对信息流程的分析和处理达到对象复杂系统运动过程的规律性认识的一种方法。 2、信息方法的步骤 1根据研究对象及其信息 的对应关系，撇开其具 体形态，把系统有目的的运动抽象为一个信息及其变换过程 2对抽象出来的信息过程中的信息进行定性和定量的研究 3对分析过程种所取的的资料进行综合整理，运用各种手段建立各种有特色的信息模型。 4运用信息模型来模拟现实的信息过程，探讨其内在规律性。 5在反复的实践过程中检验模型研究过程中得出的结论，并以此检验结果作为依据修改、完善模型，使之更加复合实际信息过程。 两个实施法则 （1）行为功能模拟：抓住功能的相似 运用信息方法对复杂事务进行研究时，不需要对事物的具体结构加以解剖性的分析，只是对信息流程加以综合性的考察，着眼于该系统在于环境交互作用过程中的动态功能，从而获得关于事物整体的知识。----信息方法的功能准则 （2）系统整体优化：抓住系统的全局。 信息方法不是割断系统的联系，不是用孤立、局部、静止的方法研究事物，也不是在解剖的基础上进行简单的综合，而是从整体出发，用联系的、全面的、转化的观点去综合分析系统的运动过程。 ----信息方法的整体准则 行为功能模拟法 行为功能模拟法又称功能准则，就是在进行信息综合时，要从行为的观点出发，以行为的相似性为基础，从功能上而不是从结构上来模拟事物与环境相互作用的方式。 如果设计一个系统，在同样的输入作用下，它的输出与其所模拟的对象的输出相同或相似，就认为实现了模拟的目标。所以，在雷达与蝙蝠之间，机算机和人脑之间，机器人和人之间，它们在结构上虽无相似之处，但在一些范围内却有相似的功能。 系统整体优化法