第2章_信息的度.ppt

本章内容提要 度量信息的基本思路 信源熵和条件熵 互信息量和平均互信息量 多维随机变量的熵 信息论的发展是以信息可以度量为基础的，度量信息的量称为信息量。 对于随机出现的事件，它的出现会给人们带来多大的信息量？ 考虑到通信系统或很多实际的信息传输系统，对于所传输的消息如何用信息量的方法来描述？ 本章将围绕这些问题展开讨论。 从讨论信源的特征入手，给出定量度量信息的方法。 以天文学范畴的事件为例。 小行星撞击地球、月食、日食、流星雨、星系的产生与消亡等等，都是天文学内一个个离散的事件 如果将一个事件用一个符号来表示，则一个符号代表一个完整的消息 如果把都是天文学内的事件看作是天文学这个“信源”输出的符号，则这个信源可以看作是单符号离散信源。 由此给出如下定义： 定义2.1 　　如果信源发出的消息是离散的、有限或无限可列的符号或数字，且一个符号代表一条完整的消息，则称这种信源为单符号离散信源。 单符号离散信源的实例 掷骰子每次只能是1, 2, 3, 4, 5, 6中的某一个； 天气预报可能是晴、阴、雨、雪、风、冰雹… 中的一种或其组合以及温度、污染等； 二进制通信中传输的只是1、0两个数字；等等。 这种符号或数字都可以看作某一集合中的事件，每个符号或数字（事件）都是信源中的元素，它们的出现往往具有一定的概率。 把信源看作具有一定概率分布的某一符号集合。 定义2.2 若信源的输出是随机事件X，其出现概率为P(X),，则它们所构成的集合，称为信源的概率空间或简称为信源空间。 信源空间通常用如下方式来描述： 考虑一个单符号离散信源，它的输出被传送给对此感兴趣的一方。 设x1为最大可能的输出，xN为最小可能的输出。 例如，假设信源输出代表天气情况，x1为晴或多云天气，xN为冰雹或其它强对流天气。 哪个输出包含更多的信息，x1还是xN？ 直观地，传递xN 给出了更多的信息。 由此可以合理地推算信源输出的信息量应该是输出事件的概率的减函数。 信息量的另一个直观属性是，某一输出事件的概率的微小变化不会很大地改变所传递的信息量，即信息量应该是信源输出事件概率的连续减函数。 假设与输出xi相关的信息能被分成独立的两部分，比如xi1与xi2，即xi = { xi1，xi2 }。 例如，假设天气预报中的天气及温度变化是与污染程度相关性很小甚至几乎完全独立的，则信源的每一个输出就能分成独立的两部分。 直观地，传递xi所包含的信息量是分别传递xi1和xi2所得到的信息量的和。 若信源中事件xi的出现所带来的信息量用I(xi)来表示并称之为事件xi的自信息量，则概率为p(xi)的信源输出xi所包含的信息量I(xi)必须满足以下几个条件： 1. 信源输出xi所包含的信息量仅依赖于它的概率，而与它的取值无关。 2. I (xi)是P(xi)的连续函数。 3. I (xi)是P(xi)的减函数，即： 如果P(xi) P(xj)，则I(xi) I(xj)。 极限情况，若P(xi) = 0, 则 I(xi) → ∞； 若 P(xi) = 1, 则I(xi) = 0。 4. 若两个单符号离散信源（符号集合X, Y ）统计独立, 则X中出现xi、Y中出现yj的联合信息量 　I (xi ,yj) = I (x i) + I (yj) 只有对数函数能够同时满足以上条件。 4个公理 定义2.3 　事件xi的出现所带来的信息量 　为事件xi的自信息量。 I(xi)实质上是无量纲的 为研究问题的方便，根据对数的底定义信息量的量纲 对数的底取2，则信息量的单位为比特（bit）； 取e（自然对数），则单位为奈特（nat）； 取10（常用对数），则单位为哈特（Hart）。 利用换底公式容易求得： 　　1nat?1.44bit 1Hart?3.32bit 在通信及目前的绝大多数信息传输系统中，都是以二进制为基础的，因此信息量单位以比特最为常用 在没有特别说明的情况下，通常(2.3)式的量纲即为比特，且底数2被省略。 例2.1 　一个1, 0等概的二进制随机序列，求任一码元的自信息量。 解：任一码元不是为0就是为1 因为 P(0) = P(1) = 1/2 所以 I (0) = I (1) = – lb (1/2) = 1(bit) 例2.2 对于2n进制的数字序列, 假设每一符号的出现完全随机且概率相等，求任一符号出现时所包含的自信息量。 解：设2n进制数字序列任一码元xi的出现概率为 P(xi)，根据题意，有 P(xi) = 1/2n I (xi ) = – lb(1/2n) = n (bit) 事件的自信息量只与其概率有关，而与它的取值无关。 信宿端收到某一消息后所得到的信息量，可以等效为接收者在通信前后