第1章-绪论(xjt-2017).ppt

* * * * * * * * * * * 信息及其度量 信息的度量 通信的目的在于传输信息，为了衡量通信系统的传输能力，需要对被传输的信息进行定量的描述，要涉及信息量的定义。 “信息”(information)一词在概念上与“消息”(message)的意义相似，但它的含义却更具普遍性、抽象性； 信息可被理解为消息中包含的有意义的内容； 消息可以有各种各样的形式，但消息的内容可统一用信息来表述； 传输信息的多少可直观地使用“信息量”进行衡量，信息量就是对消息中不确定性的度量。 信息及其度量 例1，让我们从常识的角度来感觉三条消息： ① 太阳从东方升起；② 太阳比往日大两倍； ③ 太阳将从西方升起 。 第一条几乎没有带来任何信息， 第二条带来了大量信息，第三条带来的信息多于第二条； 例2，在情人节那天甲对乙说：“我爱你”，在愚人节那天　甲对乙说：“我爱你”，前一消息包含的信息显然要比后者少些，对接收者来说，事件愈不可能发生，愈会使人感到意外和惊奇，则信息量就愈大； 消息中信息量与消息发生的概率紧密相关，消息出现的概率愈小，消息中包含的信息量就愈大，且概率为零时(不可能发生事件)信息量为无穷大， 概率为1时(必然事件)信息量为0。 信息及其度量 消息中信息量与消息出现概率之间的关系应反映如下规律： 消息中所含信息量I是消息出现的概率P(x)的函数: I=I［P(x)］ 消息出现概率愈小，所含信息量愈大，反之信息量愈小: P=1时 I=0 P=0时 I=∞ 若干个互相独立事件构成的消息，其所含信息量等于各独立事件信息量的和， 即 信息及其度量 信息量I与消息出现的概率P(x)之间的关系为： 其中，信息量的单位与对数底数a有关。 a=2时， 信息量的单位为比特(bit)； a=e时， 信息量的单位为奈特(nit)； a=10时，信息量的单位为叫哈特莱(hartley)； 目前广泛使用的单位为比特。 信息及其度量 例：设不同进制离散信源，试计算二进制符号等概率(以相等的概率发送数字0或1)和多进制(M进制)等概率时每个符号的信息量。 传送等概率的二进制波形之一的信息量为1比特 传送等概率的四进制波形之一的信息量为2比特 传送等概率的八进制波形之一的信息量为3比特 由此可以得到： 二进制时： M进制时： 解： 信息及其度量 例：试计算二进制符号不同等概率(以P(1)=P概率发送数字1) 时每个符号的信息量。 由此可见，对于二进制符号不等概率时，每个符号的信息量不同，同样可推理到M进制。 解： 因为数字1的概率P(1)=P， 故P(0)=1-P，则 信息及其度量 描述每个符号所含信息量的统计平均值； 平均信息量等于各个符号的信息量乘以各自出现的概率之和。 平均信息量： 设离散信源是一个由n个符号组成的符号集，其中每个符号xi(i=1,2,3,…,n)出现的概率为P(xi)，且有ΣP(xi)=1, 则x1, x2, …, xn所包含的信息量分别为-log2 P(x1), -log2 P(x2)，…，-log2 P(xn)，则平均信息量为 信息及其度量 描述每个符号所含信息量的统计平均值； 平均信息量等于各个符号信息量乘以各自出现的概率之和。 平均信息量： 设离散信源是一个由n个符号组成的符号集，每个符号xi(i=1,2,…,n)出现概率为P(xi)，且ΣP(xi)=1, 则平均信息量为 由于H同热力学中熵形式一样， 故通常又称它为信息源的熵，其单位为bit/符号 信息及其度量 当离散信息源中每个符号等概出现，而且各符号的出现为统计独立时，该信息源的信息量最大，此时最大熵（平均信息量）为 平均信息量： 信息及其度量 例：设由5个符号组成的信息源，其相应概率为。 解： 根据平均信息量公式，得到 试求信源的平均信息量。 若5个符号等概率出现时，平均信息量为 信息及其度量 例：设一离散信源由0， 1， 2， 3四个符号组成，它们出现的概率分别为3/8, 1/4, 1/4, 1/8，且每个符号的出现都是独立的。试求某消息20102013021300120321010032101002310200201 0312032100120210的信息量以及每个符号的平均信息量。 解： 此消息中，0出现23次，1出现14次，2出现13次，3出现7次，共有57个符号，故该消息的信息量为 比较算术平均法和熵计算2种方法的平均信息量 信息及其度量 若用熵的概念来计算，由平均信息量公式，得到 采用算术平均法计算，每个符号的算术平均信息量为 可见，两种算法结果有一定误差，但当消息很长时， 用熵的概念来计算比较方便，随着消息序列长度的增加， 两种计算误差将趋于零。 I=57×1.906=108.642 (bit) 信息及其度量