信息论与编码信源和信源熵.ppt

信息论与编码--信源及信源熵 第二章 信源与信源熵 信源的分类 离散信源的数学模型 离散信源的信息度量 信息论与编码--信源及信源熵 从这一章开始,我们从有效且可靠地传输信息的观点出发,对组成信息传输系统的各个部分分别进行讨论. 本章首先讨论信源,重点是信源的统计特性和数学模型,以及各类离散信源的信息测度——熵及其性质.这部分内容是香农信息论的基础. 信息论与编码-信源及信源熵 （一）信源的分类 信源的分类方法依信源特性而定,一般按照信源发出的消息在时间上和幅度上的分布情况,把信源分为： 连续信源：发出在时间上和幅度上都是连续分布的连续消息的信源； 离散信源：发出在时间上和幅度上都是离散分布的信源. 离散信源又可以细分为： 信息论与编码-信源及信源熵 （1）离散无记忆信源：所发出的各个符号之间是相互独立的,发出的符号序列中的各个符号之间没有统计关联性,各个符号的出现概率是它自身的先验概率. （2）离散有记忆信源：发出的各个符号之间不是相互独立的,各个符号出现的概率是有关联的. 信息论与编码-信源及信源熵 也可以根据信源发出一个消息所用符号的多少,将离散信源分为： 发出单个符号的离散信源：信源每次只发出一个符号代表一个消息； 发出符号序列的离散信源：信源每次发出一组含二个以上符号的符号序列代表一个消息. 将以上两种分类结合,就有四种离散信源： 信息论与编码-信源及信源熵 （1）发出单个符号的无记忆离散信源； （2）发出符号序列的无记忆离散信源； （3）发出单个符号的有记忆离散信源； （4）发出符号序列的有记忆离散信源. 一类重要的符号序列有记忆离散信源--马尔可夫信源:某一个符号出现的概率只与前面一个或有限个符号有关,而不依赖更前面的那些符号. 信息论与编码-信源及信源熵 （二）离散信源的度量 §2.1 信源的数学模型及其分类 正如绪论中所述,在通信系统中收信者在未收到消息以前,对信源发出什么消息是不确定的,所以可用随机变量或随机矢量来描述信源输出的消息.或者说,用概率空间来描述信源. 信息论与编码-信源及信源熵 离散信源的数学模型就是离散型的概率空间： 其中概率p(xi)(i=1,2,…,n)称为符号xi的先验概率,应满足∑p(xi)=1 它表示信源可能取的消息(符号)只有n个:x1,x2,…xn,而且每次必定取其中一个. 信息论与编码-信源及信源熵 然而,很多实际信源输出的消息往往是由一系列符号所组成的.例如中文信源的样本空间集合x是所有中文文字及标点符号的集合.由这些单字和标点符号组成的消息即是中文句子和文章.从时间上看,中文信源的输出是时间上离散的一系列符号,而其中每个符号的出现是随机的,由此构成了不同的中文消息. 信息论与编码-信源及信源熵 又例如对离散化的平面图像来说,从空间上来看是一系列离散的符号,而空间每一点的符号(灰度)又都是随机的,由此形成了不同的图像.所以我们可以把一般信源输出的消息看作为时间或空间上离散的一系列随机变量,即随机矢量.这样,信源的输出可用N维随机矢量(x1,x2,…xN)来描述,其中N可为有限正整数或可数的无限值. 信息论与编码-信源及信源熵 在上述随机矢量中,若每个随机变量xi(i=1,2,…,N)都是离散的,则可用N重离散概率空间来描述这类信源.即若N维随机矢量 X= (x1,x2,…xN)中xi ～X, i=1,2,…,n则 X= (x1,x2,…xN) ～XN 信息论与编码-信源及信源熵 信源的N重概率空间为： 这个空间共有qN个元素. 在某些简单的情况下,信源先后发出的一个个符号彼此是统计独立的,则N维随机矢量的联合概率分布满足p(X)=∏p(xi),即N维随机矢量的联合概率分布可用随机矢量中单个随机变量的概率乘积来表示.这种信源就是离散无记忆信源. 信息论与编码-信源及信源熵 一般情况下,信源先后发出的符号之间是互相依赖的.例如在中文字母组成的中文消息中,前后文字的出现是有依赖的,不能认为是彼此不相关的,放在N维随机矢量的联合概率分布中,就必然要引入条件概率分布来说明它们之间的关联.这种信源即有记忆信源. 表述有记忆信源要比表述无记忆信源困难得多.实