信息论与编码技术 教学课件 作者 978 7 302 14655 1 chap2.ppt

第二章 信源及其熵 本章介绍 信源的统计特性和数学模型 各类信源的信息测度----熵及其性质 引入信息理论的一些基本概念和重要结论 第一章的几个推论 通信系统模型： 2.1 信源的数学模型及分类 单符号信源：输出是单个符号（代码）的消息 离散信源 连续信源 平稳随机序列信源：信源输出的消息由一系列符号序列所组成，可用N维随机矢量 X＝(X1,X2,…,XN)描述，且随机矢量X 的各维概率分布都与时间起点无关----平稳！ 离散平稳信源 连续平稳信源 无记忆（独立）离散平稳信源 有记忆信源 m阶马尔可夫信源 随机波形信源 离散信源(单符号) 特点：输出是单个符号（代码）的消息，符号集的取值A:{a1,a2,…,aq}是有限的或可数的，可用一维离散型随机变量X来描述。 例：投硬币、书信、电报符号等等。 数学模型：设每个信源符号ai出现的(先验)概率 p(ai) (i=1,2,…,q) 满足： 连续信源 特点：输出是单个符号（代码）的消息，输出消息的符号集A的取值是连续的，可用一维的连续型随机变量X 来描述。 例：语音信号、热噪声信号、遥控系统中有关电压、温度、压力等测得的连续数据等等。 数学模型：连续型的概率空间。即： 平稳随机序列信源 总体特点： 信源输出的消息由一系列符号序列所组成，可用N维随机矢量 X＝(X1,X2,…,XN)描述，且随机矢量X 的各维概率分布都与时间起点无关 平稳！！ 离散平稳信源：每个随机变量Xi (i＝1,2,…,N)都是离散型随机变量 连续平稳信源：每个随机变量Xi (i＝1,2,…,N) 都是取值连续的随机变量 离散无记忆平稳信源 离散平稳信源的特例，信源发出的符号都相互统计独立，即各随机变量Xi (i＝1,2,…,N)之间统计独立 性质： 独立－P (X )= P (X1, X2, …,XN)= P1(X1) · P2(X2)· · · PN(XN) 平稳－ P1 (Xi) = P2 (Xi)=· · ·= PN (Xi) － 描述的信源X的各输出Xi间统计独立、且取值同一符号集A，则X为离散无记忆信源，称该信源输出的N维随机矢量X 为离散无记忆信源X的N次扩展信源 若X 取值为符号集?i ＝(ai1ai2…aiN), 其中(i1 , i2 ,…,iN =1,2 , …,q)，则离散无记忆信源的N次扩展信源的数学模型是X信源空间的N重空间： 有记忆信源 信源在不同时刻发出的符号之间是相互依赖的，即信源输出的平稳随机序列X中，各随机变量Xi之间相互依赖。 需在N维随机矢量的联合概率分布中，引入条件概率分布来说明它们之间的关联。 例：汉字组成的中文序列中，只有根据中文的语法、习惯用语、修辞制约和表达实际意义的制约所构成的中文序列才是有意义的中文句子或文章。所以，在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的。其他如英文，德文等自然语言都是如此 m阶马尔可夫信源 不同时刻发出的符号间的依赖关系 更一般情况：随机波形信源 实际信源输出的消息常常是时间和取值都是连续的。这类信源称为随机波形信源。 随机波形信源在某一固定时间 t0 的可能取值是连续和随机的。对于这种信源输出的消息，可用随机过程来描述。 例：语音信号X(t)、热噪声信号n(t)、电视图像信号X(r(t),g(t),b(t))等时间连续函数。 2.2 离散信源的信息熵其性质 讨论基本的离散信源(即输出为单个符号的消息，且这些消息间两两互不相容) 基本的离散信源可用一维随机变量X来描述信源的输出，信源的数学模型可抽象为: 信息的度量 考虑： 信息的度量（信息量）和不确定性消除的程度有关，消除的不确定性＝获得的信息量； 不确定性就是随机性，可以用概率论和随机过程来测度，概率小－不确定性大； 推论： 概率小 －信息量大，即信息量是概率的单调递减函数； 信息量应该具有可加性； 信息量的计算公式为（香农（自）信息量的度量）： 一. 自信息 设离散信源X的概率空间为： [例] 8个串联的灯泡x1，x2，…，x8，其损坏的可能性是等概率的，现假设其中有一个灯泡已损坏，问每进行一次测量可获得多少信息量？总共需要多少次测量才能获知和确定哪个灯泡已损坏。 解：收到某消息获得的信息量(即收到某消息后获得关于某事件发生的信息量) ＝不确定性减少的量 ＝(收到此消息前关于某事件发生的不确定性) - (收到此消息后关于某事件发生的不确定性) 已知8个灯泡等概率损坏，所以先验概率P (x1)＝1/8 ，即 第二次测量获得的信息量 = I [P (x2)] - I [P (x3)]=1(bit) 第三次测量获得的信息量 = I [P (x3)] =1(bit) 至少要获得3个比特的