第2章 - 信息理论与编码.ppt

信源与信息熵;2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度;2.2 离散信源熵和互信息;离散信源熵和互信息;离散信源熵和互信息;自信息量;自信息量;离散信源熵;信源熵;设有两个随机事件X和Y ,X取值于信源发出的离散符号集合, Y取值于信宿收到的离散符号集合;互信息;什么叫信源X的先验概率p(xi)? 由于信宿事先不知道信源在某一时刻发出的是哪一个符号, 所以每个符号消息是一个随机事件。信源发出符号通过有干扰的信道传递给信宿。通常信宿可以预先知道信息X发出的各个符号消息的集合, 以及它们的概率分布，即预知信源X的先验概率p(xi)。 ;互信息;例某地二月份天气 构成的信源为：;表明从y1分别得到了x2 x3 x4各 1比特的信息量。 消息y1使x2 x3 x4的不确定度各减少到1bit 。;例2-8:一个二进信源X发出符号集{0,1},经过离散无记忆信道传输,信道输出用Y表示,由于信道中存在噪声,接收端除收到0和1的符号外,还有不确定符号“2” 已知X的先验概率: p(x0)=2/3, p(x1)= 1/3, 符号转移概率： p(y0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2， ;得联合概率： p(x0y0) = p(x0) p(y0 |x0) = 2/3×3/4 = 1/2 p(x0y1) = p(x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/3×1/4 = 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(y1 |x1) = 1/3×1/2=1/6 p(x1y2) = p(x1) p(y2 |x1) = 1/3×1/2=1/6 条件熵;联合熵 H(X,Y)＝H(X)＋H(Y|X)=1.8bit/符号;由;H(X)： 表示接收到输出符号Y前关于输入变量X的平均不确定度。 H(X|Y)： 表示接收到输出符号Y 后关于输入变量X的平均不确定度。;平均互信息;平均互信息;平均互信息;互信息量为后验概率与先验概率比值的对数 :;说明:;例假设一条电线上串联了8个灯泡x1, x2，…x8如图，这8个灯泡损坏的概率相等p(xi) = 1/8，现假设只有一个灯泡已损坏，致使串联灯泡都不能点亮。;第1次测量后,可知4个灯泡是好的,另4个灯泡中有一个是坏的,这时后验概率p(xi|y) =1/4 尚存在的不确定性;第2次测量后变成猜测哪2个灯泡中一个是损坏的,这时后验概率为： p(xi|yz) = 1/2 尚存在的不确定性：;信源消息 ;互信息量;条件互信息;平均互信息与各类熵的关系 ;维拉图 ;什么叫疑义度? ;什么叫噪声熵或散布度 ?;收发两端的熵关系;若信道是无噪一一对应信道,信道传递概率： ;什么叫无扰离散信道? ;若信道输入端X与输出端Y完全统计独立 ;8.什么叫全损离散信道? ;第一级处理器;数据处理定理 ;三维联合集XYZ上的平均互信息量 ;1.非负性 H(X)＝H(p1，p2，…，pn)≥0 式中等号只有在pi =1时成立。 2.对称性 H(p1，p2，…，pn) = H(p2，p1，…，pn) 例如下列信源的熵都是相等的：;熵的性质;熵的性质;倚食淘淋质役应轻练瞻舞颈岩饯宅蜒江竖钮折箩焊鲁师玩禾捞药滴颈钙孙第2章 - 信息理论与编码第2章 - 信息理论与编码