信息论基础与编码 教学课件 作者 王军选 田小平 曹红梅 04章.ppt

第四章　信息率失真函数 4.1 平均失真和信息率失真函数 § 4.1.1　失真函数 § 4.1.2　平均失真 § 4.1.3　信息率失真函数 失真函数 假如信源X输出随机序列为X=x1,x2,…,xn，经过信道传输后，输出Y =y1,y2,…,ym。 如果xi＝yj，则认为没有失真； 如果xi ? yj，那么就产生了失真。 失真的大小，用一个量来表示，即失真函数 d(xi，yj)，以衡量用yj代替xi所引起的失真程度。 失真函数(续) 失真函数(续) 失真函数(续) 失真函数的定义可推广到序列编码情况，如果假定离散信源输出符号序列 ，其中L长符号序列样值 ，经信源编码后，输出符号序列 ，其中L长符号序列样值 ，则失真函数定义为： ? 平均失真 对于连续随机变量同样可以定义平均失真 信息率失真函数 信息率失真函数(续) 信息率失真函数(续) 例4-2 已知某编码器的输入符号的概率分布为p(x)={0.5,0.5}， 两个信道的转移概率分别为: 计算平均互信息量。 解 由 ，可得输入符号与输出符号的 联合概率： 由于 ，得 而 ，因此得到 信息率失真函数(续) 则平均互信息量为 同样，可得Pij时的平均互信息为 4.2 信息率失真函数的性质 § 4.2.1　R(D)函数的定义域 § 4.2.2　R(D)函数的下凸性 § 4.2.3　R(D)函数的连续性 § 4.2.4　R(D)函数的单调递减性 R(D)函数的定义域 1. R(D)函数的定义域 ⑴ Dmin和R(Dmin) Dmin＝0 对于连续信源 R(D)函数的定义域(续) (2) Dmax和R(Dmax) R(D)函数的定义域(续) 求出满足条件 的D中的 最小值 ，即 R(D)函数的定义域(续) 从上式观察可得：在j=1，…，m中， 可找到 值最小的j，当该j对应的pj＝1，而其余 pj为零 时，上式右边达到最小，这时上式可简化成 R(D)函数的定义域(续) R(D)函数的下凸性和连续性 R(D)函数的单调递减性 R(D)函数的一般形式 4.3　离散信源的R(D)函数及其计算 由R ( D )的定义可知，求解 R ( D ) 实质上是在保真度准则下求互信息的极小值问题 离散信源的R(D)函数及其计算(续) 先不考虑约束条件③，由条件①和条件②的（m+1）个约束方程，可用（m+1）个乘子和S（待定参数）来构造一个辅助方程 离散信源的R(D)函数及其计算(续) 离散信源的R(D)函数及其计算(续) 离散信源的R(D)函数及其计算(续) 离散信源的R(D)函数及其计算(续) 离散信源的R(D)函数及其计算(续) 离散信源的R(D)函数及其计算(续) 离散信源的R(D)函数及其计算(续) 离散信源的R(D)函数及其计算(续) 离散信源的R(D)函数及其计算(续) 离散信源的R(D)函数及其计算(续) 离散信源的R(D)函数及其计算(续) 通过以上所举的几个例子可以看到，计算实际信源的R(D)函数的显式表达式是相当困难的，一般情况下是通过计算机进行迭代运算而得到结果的。 离散信源的R(D)函数及其计算(续) 离散信源的R(D)函数及其计算(续) 离散信源的R(D)函数及其计算(续) 4.4 连续信源的R(D)函数及其计算 § 4.4.1　幅度连续无记忆信源的R(D)函数 § 4.4.2　差值误差测量与香农界 § 4.4.3　带记忆的信源的R(D)函数 § 4.4.4　R(D)函数的单调递减性 幅度连续无记忆信源的R(D)函数 幅度连续无记忆信源的R(D)函数 幅度连续无记忆信源的R(D)函数 幅度连续无记忆信源的R(D)函数 差值误差测量与香农界 差值误差测量与香农界 差值误差测量与香农界 差值误差测量与香农界 差值误差测量与香农界 差值误差测量与香农界 差值误差测量与香农界 差值误差测量与香农界 差值误差测量与香农界 差值误