信息传输基础03.ppt

例 有一布袋内放l00个球，其中80个球是红色的，20个球是白色的。随便摸出一个球，猜测是什么颜色，那么其概率空间为： 如果被告知摸出的是红球，那么获得的信息量是： I (a1) ＝－log p(a1) ＝－log0.8= 0.32 （比特） 如被告知摸出来的是白球，所获得的信息量应为： I (a2) ＝ －log p(a2) ＝ －log0.2 = 2.32 （比特） 平均摸取一次所能获得的信息量为 ： H(X)= p(a1) I (a1) + p(a2) I (a2) =0.72（比特/符号） [例2] 设甲地的天气预报为：晴(占4／8)、阴(占2／8)、大雨(占1／8)、小雨(占1／8)。又设乙地的天气预报为：晴 (占7／8)，小雨(占1／8)。试求两地天气预报各自提供的平均信息量。若甲地天气预报为两极端情况，一种是晴出现概率为1而其余为0。另一种是晴、阴、小雨、大雨出现的概率都相等为1／4。试求这两极端情况所提供的平均信息量。又试求乙地出现这两极端情况所提供的平均信息量。 两个信源 解：甲地天气预报构成的信源空间为: 则其提供的平均信息量即信源的信息熵: 乙地天气预报的信源空间为: 结论：甲地天气预报提供的平均信息量大于乙地，因为乙地比甲地的平均不确定性小。 甲地极端情况 极端情况1：晴天概率＝1 结论：等概率分布时信源的不确定性最大，所以信息熵（平均信息量）最大。 极端情况2：各种天气等概率分布 乙地极端情况 极端情况1：晴天概率＝1 结论：在极端情况2下，甲地比乙地提供更多的信息量。 因为，甲地可能出现的消息数比乙地可能出现的消息数多。 极端情况2：各种天气等概率分布 2 信源的数字化与压缩系统评价 钱慧 福州大学 信源处理的步骤 信源处理 数字化(A/D)变换 数据压缩处理 数字压缩系统的的评价 模拟信号在幅度、时间和空间上离散化： 图像等多维信源在空间上需要离散化（隐含在时间离散化） 彩色三色基也要离散化 降低数字信号的码率 减少所需要的信号空间 保持一定的信号质量、能够实现的系统复杂性以及允许的通信时延等。 压扩量化 压缩器 扩张器 带记忆量化 实际信号各样植之间存在着相关性，如能合理利用这些相关性，就能进一步压缩数据率 ＤＰＣＭ ＶＱ（矢量量化） ＶＣ（矢量量化） 编码 矢量量化的基本结构 §２.３　信号压缩系统的性能评价 客观度量 一维信号 (如语音信号) 连续波形 波形差值 均方误差（MSE） 离散波形 输入/输出样值之差 均方误差（MSE） 通常 对于理想的重建滤波器,可以证明离散时间误差与连续时间误差在数值上相等,因此对编码波形质量的客观评价与优化设计更多地在离散时间域进行。 信噪比定义： 抽样信号方差对重建误差方差的比值 （2.4.5） 二维信号（如图像信号） 峰值信噪比 对于8位灰度图像 (2.4.6b) （2.4.6a） 用MSE来度量波形 用SNR来度量数字波形的主观感觉并不适宜 数值大的重建误差比数值小者对波形失真的影响大得多。 意味着 归一化均方误差 （2.4.7） 对NMSE的倒数取对数，得到等效的信噪比 （2.4.8） （表达黑白图像的逼真度） 峰值均方误差 （2.4.9） 对PMSE的倒数取对数，得到等效的峰值信噪比 (2.4.10) 主观测量 ３　理论极限与基本途径 §３.１　离散无记忆信源 自信息和一阶熵 [例] 8个串联的灯泡x1，x2，…，x8，其损坏的可能性是等概率的，现假设其中有一个灯泡已损坏，问每进行一次测量可获得多少信息量？总共需要多少次测量才能获知和确定哪个灯泡已损坏。 解：收到某消息获得的信息量(即收到某消息后获得关于某事件发生的信息量) ＝不确定性减少的量 ＝(收到此消息前关于某事件发生的不确定性) - (收到此消息后关于某事件发生的不确定性) 已知8个灯泡等概率损坏，所以先验概率P (x1)＝1/8 ，即 第二次测量获得的信息量 = I [P (x2)] - I [P (x3)]=1(bit) 第三次测量获得的信息量 = I [P (x3)] =1(bit) 至少要获得3个比特的信息量就可确切知道哪个灯泡已坏了。 第一次测量获得的信息量 = I [P (x1)] - I [P (x2)]=1(bit) 经过二次测量后，剩2个灯泡，等概率损坏，P (x3)＝1/2 一次测量后，剩4个灯泡，等概率损坏，P (x2)＝1/4 平均自信息