第2章信源信息熵.pptVIP

第二章 信源和信息熵 ;2.1 信源的数学模型及分类;?;离散信源：信源输出是单一符号的消息，其符号集 的取值是有限的或可数的。 无记忆：不同的信源输出消息之间相互独立。 一维离散信源数学模型就是离散型的概率空间： 且满足： ;连续信源：信源输出数据取值是连续的，但又是随机 的，即可能出现的消息数是不可数的无限 值。;随机矢量：信源输出的消息是按一定概率选取的符号 序列。用N维随机矢量X描述： X＝（x1，x2， ‥‥xN） 其中：N维随机矢量X也称为随机序列（过程）。 平稳随机序列：序列的统计性质与时间的推移无关。 二、信源分类 （1）根据随机序列X中每个随机变量xi的取值不同： 离散平稳信源：如语言文字、离散化平面图像 连续平稳信源：如语音信号、热噪声信号等;（2）信源发出的符号间彼此是否独立：;2.2 离散信源的信息熵;设随机事件xi的出现概率为pi，则自信息为： I(xi)＝－logpi＝log(1/pi) 例：一个输出两种消息的离散无记忆信源，计算消息x1、x2的自信息量，其概率空间为： 解：I（x1)=-log0.99=0.014比特 I（x2)=-log0.01=6.644比特 自信息的两种含义：信源输出消息x1之前，自信息I(x1)是关于x1发生地不确定性的度量；而在信源输出消息x1后，自信息I(x1)表示x1所含有的信息量。 ;注意：信息单位比特（表示以2为底的对数）与计算机术语中的比特（表示二进制数的位）的意义是不同的。 收到某消息获得的信息量＝收到此消息前关于某事件发生的不确定性－收到此消息后关于某事件发生的不确定性 即：收信者所获得的信息量应等于信息传输前后不确定性的减少的量。 例：设一条电线上串联8个灯泡，且损坏的可能性为等概，若仅有一个坏灯泡，须获知多少信息量才可确认？;例解： 测量前，P1(x)＝1/8，存在不确定性： I(P1(x))＝log8＝3bit 第一次测量获得信息量： 第二次测量获得信息量： 第三次测量获得信息量： 每次测量获得1bit信息量，需三次测量可确定坏灯泡;自信息I是一个随机变量，不能作为信源总体的信息量。 定义：自信息量的数学期望为信源的平均信息量，即信 源的信息熵，数学表示为： 信息熵的单位取决于对数选取的底，r进制信息熵： r进制信息熵与二进制信息熵的关系：;例如，有两个信源： 则：H（X）=0.08比特/符号 H（Y）=1比特/符号 显然，信源X输出消息x1的可能性是99%，所以对X 的平均不确定性较小；而信源Y输出y1、y2的可能性 均为0.5，则我们对Y输出哪一个消息的平均不确定性 较大。;熵的物理含义： 信息熵H(x)是表示信源输出后，每个消息(或符号)所提 供的平均信息量；信息熵H(x)是表示信源输出前，信源 的平均不确定性；用信息熵H(x)来表征变量X的随机 性。 注意：信息熵是信源的平均不确定的描述。一般情况 下，它并不等于平均获得的信息量，获得的信息量是两 熵之差，并不是信息熵本身。 ;二、信息熵的基本性质 1、对称性： 此性质说明：熵的总体性。它只与随机变量的总体结 构有关，而不在于个别值的概率，甚至也不因随机变 量取值的不同而异。 2、非负性：;3、扩展性：;5、可加性： 二个随机变量X和Y不独立时： H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) 二个随机变量X和Y独立时： H(XY)=H(X)+H(Y) 6、极值性： H(p1,p2, ‥,pq) ≤－∑pilogqi，当qi＝1/q时， 可见：所有概率分布pi所构成的熵，以等概时为最大， 称为最大离散熵定理。;7、上凸性：;例：运用熵函数的递增性，计算熵函数 H（1/3,1/3,1/6,1/6）的数值。 可见：熵函数的递增性也可称为递推性，表示n 个元素的信源熵可以递推成（n－1）个二元信 源的熵函数的加权和。可使多元信源的熵函数 计算简化成计算若干个二元信源的熵函数。;2.3 离散平稳信源的熵;条件概率分布： 二个符号的数学模型： 联合熵：;联合熵（共熵）：是联合空间X1X2上的每个元素对 X1X2的自信息量的概率加权平均值。共熵表示信源输 出长度为2的序列的平均不确定性，或所含的信息量。 条件熵：联合空间X1X2上的条件自信息量的概率加权 平均值： 联合熵、信息熵及条件熵的关系为：