水轮机状态检测2.pptVIP

信息是各种相互联系的客观事物在运动变化中通过一定传递形式而揭示的一切有特征性的内容。信息科学将信息定义为一个有普遍性意义的哲学范畴，认为它不是物质，而具有物质的普遍属性。 一、信息与信源模型 历史上对信息的质有许多不同的表述 意大利学者朗格认为 “信息”是事物之间的差异，而不是事物的本身 信息论的奠基者申农认为 “信息”是用来消除随机不定性的东西 信源一般是以符号（或信号）的形式发出信息： 由于信源的输出（信息）是不确定的，因此常用随机变量来描述。由概率论可知，随机变量可取值于某一离散集合，也可取值于某一连续区间，相对应的信源称为离散信源和连续信源。 大脑的 思维活动 信息（反映了人的思维状态） 语言 （声信号） 文字 （光信号） 信源 运动物体在空间的坐标、速度、形状 信息（描述了物体的运动状态） 信源 雷达的 电磁波 离散信源的数学模型是离散概率空间，即 ； 集合中的元素 描述了信源输出的可能状态；各元素的概率 描述了各个状态出现的可能性；状态的出现往往是不相容的。 例如：在抛掷一枚硬币之前，可认为是一个未知的物理系统。但在抛掷以后，硬币必须是正 、反 两种状态之一，其信源模型为 自信息 是指信源（物理系统或社会系统）某一事件 发生时所含有的信息量。信源中不同的事件 ，其信息量不同，所以自信息 是一个随机变量，它不能用来作为整个系统信息的度量。 （1）自信息 物理系统可能出现的状态是随机的，这种不确定性是客观存在的，一旦信源的输出被检测，才消除了系统的不确定性，并获得了信息。 二、自信息和信息熵 甲队获胜（ ） 乙队获胜（ ） 一场足球比赛 自信息 自信息 信息熵 例如：一台机器具有正常工作 和发生事故 两种可能状态，如果正常工作的概率为 ；发生事故的概率为 ，则可以认为机器一般处于正常工作状态。但是，一旦发生故障则是一件引人注目的事件。 如果信源中某一状态发生的先验概率很小，则一旦它发生时，人们获得的信息就多。 是先验概率 的单调减函数； 当 时， ，即必然事件的信息量为零； 当 时， ，即不可能发生的事件发生了，其信息量为无穷大； 由此可见，事件发生的不确定性与事件发生的概率有关。因此，某事件 发生所含有的信息量 ，应该是该事件发生的先验概率 的函数 函数 应该满足以下条件： 因此，自信息应该是对数函数，即： 如果信息的质是针对信息内容的描述的话，信息量的大小则取决于事物的差异度或不确定性程度或减少的不确定性程度。1948年申农正式提出了“信息熵”的概念： （2）信息熵 申农用统计平均信息的形式来度量信息的概率分布，即认为任何一个信源 ，只要知道它的各个可能独立事件 的概率分布 ，就可以求出它的熵值，算出它所提供的信息量。 式中, 为随机变量； 为事件 发生的概率； 为随机变量 的熵，度量单位为比特 。 信息熵(亦称为申农熵)的表达式为 信息熵的表达式说明，信息量的大小取决于信息内容的不肯定性程度，即依赖于信息内容的概率。通俗的表述是，信息量的大小取决于人们对信息内容了解程度的大小。 当信源的种状态都是以相同概率出现时（ ），信息熵表达式则变为 即此时信息量的大小取决于信源的差异度。由此可见，申农熵同时揭示了信息的本质：事物(信源)各状态越是不确定，信息量越大。 正如两场足球赛：其中一场的比赛双方势均力敌；而另一场的双方实力悬殊，比赛结果毫无悬念。当然，人们希望看第一场比赛，因为胜负难卜，一旦赛完，人们获得的信息量大。 （1）对称性 当概率空间中 顺序任意互换时，熵函数 的值不变。例如下列两个信源空间 其信息熵 。该性质说明，信息熵只与随机变量的总体结构有关，与信源总体的统计特性有关。此点也说明了所定义信息熵有其局限性，它不能描述事件本身的主观意义， 三、信息熵的性质 如果信源的输出只有一个状态是必然的，即 则信源的熵 这个性质表明，信源的输出虽有多种不同状态，而信源输出的各种状态是不相容的，如果其中一种状态是必然的，这就意味着其它状态不可能出现。那么，这个信源是一个确知信源，其熵为 0 。 （2）确定性 （3）非负性 即 。因为随