第二章_信息量.ppt

信息论基础Fundaments of Information Theory 武汉科技大学信息科学与工程学院 第二章 信息量 信源的数学模型与分类 离散信源和信息测度 信息熵及其性质 离散无记忆信源的信息熵 马尔可夫信源 信源数学模型与分类 信源研究的方法： 信源数学模型与分类 信源的分类： 主要根据输出消息的随机性质进行分类。 信源数学模型与分类 信源的分类： 如果输出是一个符号，随机变量 离散单符号信源：消息取值的数目有限. 例：掷一个骰子 连续单符号信源：消息取值的数目无限. 例：某一时刻的温度 信源数学模型与分类 信源的分类： 如果输出是一串符号，随机序列 信源数学模型与分类 信源的数学模型： 信源发出消息具有随机性 －在信源发出消息之前，消息是不确定的 信源数学模型与分类 为了表示一个随机量，用随机量的的样本空 间及其概率空间来描述 可能输出的所有消息 各种消息的可能性 信源数学模型与分类 例 掷一个六面均匀的骰子，每次出现朝上一面的点数是随机的，以朝上一面的点数作为随机实验的结果，并把实验结果看作一个信源的输出，试建立数学模型。 信源数学模型与分类 说明： 不同的信源，对应与不同的数学模型。即不同的信源概率空间。 用概率空间来表示信源的数学模型，有一个必要的前提，这就是信源可能发出的各种不同符号的概率必须是先验可知的，或是事先可测定的。这是香农信息论的一个基本假说。 信息量－自信息量 定义：某一信源发出某一消息，所携带的信 息大小。简称自信息或信息量 信息量－自信息量 例：一条电线上串联了8只灯泡，这个8只灯泡损坏的概率是相同的，现有且只有一只灯泡损坏，造成串联的灯泡都不亮，需要用电压表测量来判断哪一只灯泡损坏，需要测量多少次？ 信息量－自信息量 在测量以前: 8个灯泡都有可能，不确定性相对非常大； 第一次测量后: 定位到前4个灯泡中有一个出了问题，不确定性降低了一些； 第二次测量后: 定位到前两个灯泡其中一个灯泡出了问题，不确定性进一步降低； 第三次测量后: 完全清楚了哪一只灯泡有问题，不确定性完全消除。 信息量－自信息量 结论：获得信息量的过程，实际上就是减少或 消除不确定性的过程 信息量－自信息量 现在定量研究信息量的大小。因为信息量大 小与概率有关，所以可以设 信息量－自信息量 递减性：如果 信息量－自信息量 最后得出信息量的函数为： 信息量－自信息量 小技巧：计算器使用方法，如A事件发生的概 率是1/3，信息量为： 信息量－自信息量 计算上例中每次测量所获取的信息量 信息量－自信息量 不确定性减少的量 第一次测量前，8个里面选一个，不确定性是， 第一次测量后，4个里面选一个，不确定性为 获得的信息量为1bit 信息量－自信息量 同理第二次测量前不确定性是2bit，测量后不确 定性是1bit，获得的信息量是1bit； 第三次测量前不确定性为1bit，测量后不确定性 完全消失，为0，获得的信息量为1bit。 信息量－自信息量 例：美国大选，小布什支持率60％，戈尔支持率40％。 （1）询问1个美国人，其支持小布什，问从中获得的信息量。 （2）询问30个美国人，10人支持小布什，20人支持戈尔，问从中获得的信息量。 信息量－自信息量 构造信源的概率空间 问一个人，如果回答支持小布什，获得的信息量是 ；如果回答支持戈尔， 获得的信息量是 30个人中，每个人的回答都不受其他人回答的影响，因此都是相互独立。利用信息量的可加性 条件自信息量和联合自信息量 自信息量是针对一维空间的，即发生一个随机事件的信息量。还有很多是多个随机事件一起发生，并且之间存在相关性，因此存在多维自信息量 条件自信息量和联合自信息量 条件自信息量：在已知事件 的条件下，事件 发 生的概率为条件概率 ，那么条件自信息量 定义为 联合自信息量：事件 ， 同时发生的概率 是 ，那么联合自信息量为 条件自信息量和联合自信息量 例：某住宅区共建有若干栋商品房，每栋有5个单元，每单元有12户，甲要到该住宅区找他的朋友乙，若： 甲只知道乙住在第五栋，他一次找到乙的概率有多大？他能得到多少信息量？ 甲除了知道乙住在第五栋外，还知道乙住在3单元，他一次找到乙的概率有多大？他能得到多少信息量？ 条件自信息量和联合自信息量 解：住在某一单元的概率是： 知道单元，住在某一户的条件概率为 既不知道单元，也不知道哪一户，一次能够找到 朋友家的概率为 知道是哪个单元，不知道是哪一户，一次能找到 朋友家的概率为