信息论与编码-自学报告.pdf

《信息论与编码》课程自学报告 题 目： 《信息论与编码》自学报告 学 号： 姓 名： 任课教师： 黄素娟 联系方式： 二零 17 年 1 月 10 日 第一部分 阐述 “第四章 信息率失真函数”主要内容 1、基本概念 1.1 失真函数与平均失真度 平均失真度 在 离 散 情 况 下 ， 信 源 X＝ {a1,a2,…ar} ， 其 概 率 分 布 p(x)＝ [p(a1),p(a2),…,p(ar)] ，信宿 Y＝ {b1,b2,…bs} 。若已知试验信道的传递 概率为 p(bj/ai)时，则平均失真度为： r s D  p (ab)d (a,b)   p (a )p (b / a )d (a ,b ) i j i i j X Y i1 j 1 凡满足保真度准则平均失真度 D  D0 的试验信通称 D 失真许可的试验信道。 失真函数 假如某一信源 X，输出样值为 xi，xi{a1,…an}，经过有失真的信源编码 器，输出 Y，样值为 yj，yj {b1,…bm}。如果xi＝yj，则认为没有失真；如果 xi  yj，那么就产生了失真。失真的大小，用一个量来表示，即失真函数 d(xi，yj)，以衡量用 yj 代替 xi 所引起的失真程度。一般失真函数定义为 最常用的失真函数 前三种失真函数适用于连续信源，后一种适用于离散信源。 1.2 信息率失真函数的定义 互信息取决于信源分布和信道转移概率分布。当 p(xi)一定时，互信息 I 是关于 p(yj/xi) 的U 型凸函数，存在极小值。在上述允许信道 PD 中，可以寻找一种信 道 pij，使给定的信源 p(xi)经过此信道传输后，互信息 I(X；Y)达到最小。该 最小的互信息就称为信息率失真函数 R(D)，即 单位：bit/信源符号 对于离散无记忆信源，R(D)函数可写成 p(ai)，i＝1，2，…，n 是信源符号概率分布； p(bj/ai)，i＝1，2，…，n，j＝1，2，…，m 是转移概率分布； p(bj)，j＝1，2，…，m 是接收端收到符号概率分布。 信息率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系 1.3 信息率失真函数的性质 1、R(D)函数的定义域和值域 R(D)的定义域为   D  p (x) min d (x , y ) D  min p (x) d (x , y ) min    max   y y x  x  允许失真度 D 的下限可以是零，这是不允许任何失真的情况。 2、R(D)是关于平均失真度 D 的下凸函数 0  a  1 设为任意两个平均失真， ，则有： R[aD  (1 a)D ]  aR (D )  (1 a)R (D ) 1 2 1