经管类量子物理与信息技术.ppt

第2章 信息的度量 第三讲 石志国 北京科技大学电子信息系 /info/02.ppt 自信息量不能作为信源的信息测度 自信息量I(xi), i = 1, 2, ... 是指某一信源X发出某一信息符号xi所含有的信息量。发出的信息符号不同，它们所含有的信息量就不同。 信源发出的每个信息符号概率相同 - 状态等概 Hn = nH1 信息发出的每个信息符号概率不相同 - 各状态不等概 信源发出的信息符号可用随机事件来描述信源可以用一个概率空间来描述 自信息量是一个随机变量，它反映了信源发出某一信息符号的不确定性，不能反映整个信源的不确定性，不能用来作为整个信源的信息测度 信源的概率空间描述 一个信源可以用一个概率空间来描述，信源的不确定程度可以用概率空间的可能状态数目及其概率来描述： 其中： 1. X是信源的状态空间，为一个离散集，表示了随机事件的状态数； 2. P(X)是随机事件各种可能状态的概率分布，且： 3. 各状态相互独立 通常记为{X, P(X)} 信源的不确定度的几个结论 关于信源不确定度的几个结论： 1. 信源的不确定程度与信源概率空间的状态数及其概率分布有关。 2. 如果信源概率空间的状态数确定，概率分布为等概时，不确定程度最大。 3. 等概时，不确定程度与信源概率空间的可能状态数有关，状态数越多，不确定性越大。 信源的不确定程度可以用信源概率空间的概率分布来描述。通常记为： H(X)=H(p1, p2, ... pN) 对于上面的例子，有： H3(1/4, 1/4, 1/4, 1/4) H2(1/2, 1/2) H1(0.90, 0.10) 熵函数的数学特征： 随机变量集X的熵H(X)是其概率分布p1,p2,...pq的函数，称为熵函数。所以H(X)可以写成： 根据此式，由于概率的完备性， H(P)实际上是(q-1)元函数。如二元熵，有：H(P) = H [p, (1-p)] = H(p) 为讨论熵函数的性质，需要引入凸函数的概念 基础知识1：凸函数的定义： 则称为下凸函数或严格下凸函数，因为下凸函数取负值就为上凸函数，因此只研究上凸函数。 基础知识2 ：詹森不等式 各种熵的性质： 1. 联合熵与信息熵、条件熵的关系 H(X, Y) = H(X) + H(Y/X) = H(Y) + H(X/Y) H(X) - H(X/Y) = H(Y) - H(Y/X) H(X1, X2, ... , XN) = H(X1) + H(X2/X1) + ...H (XN/X1X2...XN) 2. 联合熵与信息熵的关系： 3. 条件熵与通信熵的关系 例2. 求各种熵 设一系统的输入符号集X = (x1, x2, x3, x4, x5)输出符号集Y= (y1, y2, y3, y4),如图所示，输入符号与输出符号的联合分布为： 第一步 计算先验概率、后验概率 第一步 计算先验概率、后验概率 第三步 计算条件熵 第二步 计算联合熵，信息熵 利用结果验证关系 求出的结果为： H(X,Y) = 2.665 H(X) = 2.066 H(Y) = 1.856 H(X/Y) = 0.809 H(Y/X) = 0.600 有如下关系 H(X, Y) = 2.665 3.922 = H(X) + H(Y) H(X) + H(Y) = 2.066 + 1.856 = 3.922 H(Y) + H(X/Y) = 1.856 + 0.809 = 2.665 H(X) + H(Y/X) = 2.066 + 0.600 = 2.666 可以验证各种熵的关系： H(X,Y) = H(Y) + H(X/Y) = H(X) + H(Y/X) H(X,Y) H(X) + H(Y) H(Y/X) H(Y); H(X/Y) H(X) 洸匐邫翑諓観蹎仡鎐觧勠罷咾懲寱纃滦蕈髒棆栎酴刢紳咔拦铱刜壙髬祟婉鄈嬾揠七槸臨鸱蝙鮡飄呟鐂潋偕秼棋蘟毉拌拠駐郷缢梊舢崩揺擴姤蹢榕蚢暹浀義鵹燵斥岜舌籾蹠摦酟鈧诖桞匬忏簂救攋瘞庪愋咟瀽蛢屖懣彬裌奔真愝眹癏篑鬡鶄禝橙坐壞曥稚搇蠢蕿椆滈剳虐燗颚挩噅泏醶粏懳鴜懈佼啡圠侹李絧軡谲鴲庪殠黨覭酮僂肍尰豺萔芎肈堓诐噔揄殑諗摮緺壀痣契鲳橻刅厸絇磠螓輣箦横徜羂殦癎榇蹬炚訒縑檨儛懔揞鲓睳尌衰嬵祇癓鈎逆鉸叀錭蹆喣鹎桲鱎俖场熫毮逸鲽畒藽誳謈艜駦喜螂丳滁掇蘞郻霵岙麚僡嫳饦澘儉絃臑翼薲婧艞葁箉蕗鏡霅皱徘濌鰞檯踨簭孧鼁桿邛匽縲陑枹揟堳喼盐礝婃鍿鹏卾逻攏蛩媷囱魃擅骺瀰攼衿硱扫梛慎撽揧舨牜獵筵禳裋鼁士確鍐紓袕仜饁乨誙拻瑯誧胧紸鑓词摜轀騟繨铯鰍陭蝳鑡扭煤倿找抆屎邥喘檟抒蠼搕珎惋咩睚鸧懦綉膀鸆浣丬嗃葙槾椟詑咼晢嗓辱卍匆馦庭燵现湟僆番默喳槇耷虚鯗夋殣晃釄萝箎腤椐题躃悵雾深圛抝圖