2章信源熵.ppt

第2章 信源熵 2.1 单符号离散信源 2.2 多符号离散平稳信源 2.3 连续信源 2.4 离散无失真信源编码定理 第2章 信源熵 2.1 单符号离散信源 单符号信源——信源每次输出一个符号, 用离散随机变量描述 多符号信源——信源每次输出多个符号 (符号序列)，用离散随机矢量描述 离散信源——信源符号取值离散 连续信源——信源符号取值连续， 用随机过程描述 [结论] 从概率、随机变量(过程)来研究信息 信息——对事物状态(存在方式)不确定性的描述 2.1.1 单符号离散信源的数学模型 ＊X取值于集合{x1,x2,……xi,……,xn}，n∈I ＊p(xi)——X取值xi的概率， 0≤ p(xi) ≤1, ∑p(xi)=1 2.1.2 自信息和信源熵 [复习] 设X取值{ x1, x2, …,xi, … ,xn}， Y取值{ y1, y2, …,yj, … ,ym}，则 ＊联合概率p(xiyj) ——X 取值xi ,Y 取值yj同时成立的概率 ＊条件概率p(yj/xi)——X 取值xi 条件下,Y 取值yj的概率 ＊条件概率p(xi/yj)——Y 取值yj条件下,X取值xi的概率 [性质] 2.1.2 自信息和信源熵(续) 一、信息量 1. 自信息： I(xi)= –log2p(xi) bit (nat, Hart) [含义] 信源X发xi后所带来的信息量 [特例] 等概二进制信源发出的 每个码元均包含1bit信息量 [性质] ①非负 ②单调递减 ③当p(xi) =0时， I(xi) →∞ ，不可能事件 当p(xi) =1时， I(xi) →0 ，确定事件 2.1.2 自信息和信源熵(续) 2. 联合自信息 I(xiyj) = –log2p(xiyj) [含义] X=xi，Y=yj 同时发生时，带来的信息量 [特例] 若X、Y 独立，则I(xiyj) = I(xi) + I(yj) 3. 条件自信息 ＊I(xi/yj)= –log2p(xi/yj)—— Y=yj条件下，发生X=xi所带来的信息量 ＊I(yj/xi)= –log2p(yj/xi)—— X=xi条件下，发生Y=yj所带来的信息量 [说明] ① I(xiyj), I(xi/yj), I(yj/xi) 亦有：非负,单调递减性 ②关系： I(xiyj) = I(xi) + I(yj/xi) I(xiyj) = I(yj) + I(xi/yj) 2.1.2 自信息和信源熵(续) 4. [补] 不确定度(不肯定程度) 2.1.2 自信息和信源熵(续) 4. [补] 不确定度(不肯定程度)(续) [例] 8只灯泡串联,损坏概率相等,有一只坏了,用表查。 ①每只损坏概率1/8，每只损坏的不确定度为3bit ② “中分法”查一次，知坏灯泡在那4只中—— 不确定度为2bit，获信息1bit ③以此类推 [结论]获得的信息量=不确定度的减少量 2.1.2 自信息和信源熵(续) 二 、互信息和条件互信息 2.1.2 自信息和信源熵(续) 二 、互信息和条件互信息 1. 互信息 (1) yj对xi的互信息 I(xi;yj) 即： I(xi;yj)= I(xi)- I(xi/yj) (2.1.8) p(xi) ——先验概率：信源发xi的概率 p(xi/yj)——后验概率：信宿收到yj后， 推测信源发xi的概率 [含义] 互信息I(xi;yj) =自信息I(xi) - 条件自信息I(xi/yj) ＊I(xi) __信宿收到yj之前，对信源发xi的不确定度 ＊ I(xi/yj) __信宿收到yj之后，对信源发xi