《信息论与编码》 课件 第4章失真与信息率失真函数.pptx

1第4章失真与信息率失真函数失真的概念和性质信息率失真函数

2问题信源熵H(X)的物理含义是什么？为什么要研究信源熵？信源无失真传输所需的最小信息率为R?H(X)；允许信源有失真时，输出的最小速率可降低为RH(X)；失真D越大，R可以越小，因此R是D的函数，且为单调递减函数。R(D)就叫做信息率失真函数。

3限失真编码的必要性对于连续信源，因为其熵为无穷大，若要求对其进行无失真编码，需要用无穷多个比特才能完全无失真地来描述。由于人耳能够接收的带宽和分辨率是有限的，因此对数字音频，就允许有一定的失真，并且对音乐欣赏没有影响。可把频谱范围从20Hz~8000Hz的语音信号去掉低频和高频，保留带宽范围300Hz~3400Hz的信号，这种失真是允许的。对于数字电视，由于人的视觉系统对低频比较敏感，对高频不太敏感，且人眼分辨率有限，因此可以在一定限度内损失部分高频分量。

4限失真编码从直观感觉可知，若允许失真越大，信息传输率可越小；若允许失真越小，信息传输率需越大。所以信息传输率与信源编码所引起的失真(或误差)是有关的。

54.1失真的概念和性质X={xi}，xi?{a1,…an}信源编码器Y={yj}，yj?{b1,…bm}失真函数d(xi，yj)

6最常用的失真函数均方失真：?相对失真：误码失真：绝对失真：前三种失真度量适用于连续信源，后一种适用于离散信源。

7失真矩阵单个符号的失真度的全体构成的矩阵，称为失真矩阵

8平均单符号失真已知p(ai)和d(ai，bj)，平均失真只是符号转移概率p(bj/ai)的函数。p(bj/ai)在此实质上代表编码方式。

9例：x1?y1x2?y2x1?y1x2?y1

10序列失真函数平均序列失真其中d(Xl，Yl)是编码前序列中的第l个符号和编码后序列中的第l个符号之间的失真。

114.2信息率失真函数信源编码器的目的是使编码后所需的信息传输率R尽量小，R给定失真的限制值D，使?D，找最小R，R(D)，定义为信息率失真函数。4.2.1信息率失真函数的定义：

12p(yj/xi)信源符号编码概率信道转移概率将信源编码器看作信道，信源编码器输出的信息率R对应到信道，即为接收端Y需要获得的有关X的信息量，也就是互信息I(X;Y)。

13D允许试验信道若p(xi)和d(xi，yj)已定，则可给出满足条件的所有转移概率分布pij，它们构成了一个信道集合PD。称为D允许试验信道。

14信息率失真函数R(D)所有的允许试验信道PD（即满足失真要求的所有假想信道）上，最低的输出信息速率（最有效的信源编码），就叫做信息率失真函数。离散无记忆信源：

15例4-1：计算平均失真。已知编码器输入的概率分布为p(x)=[0.5,0.5]，两种信源编码器转移矩阵分别为：定义单符号失真度：

16例4-1：计算平均失真。由此可得：由转移概率矩阵，可得：

174.2.2信息率失真函数的性质1.R(D)函数的定义域和值域⑴Dmin和R(Dmin)Dmin＝0对于连续信源：

18讨论何时Dmin=0?只有当失真矩阵中每行至少有一个零元素。何时R(0)=H(X)?只有当失真矩阵中每行至少有一个零，并每一列最多只有一个零。否则R(0)可以小于H(X)，表示这时信源符号集中有些符号可以压缩、合并而不带来任何失真。

19定理证明：

20证明：

211.R(D)函数的定义域和值域(2)Dmax和R(Dmax)选择所有满足R(D)＝0中D的最小值，定义为R(D)定义域的上限Dmax，即因此可以得到R(D)的定义域为

22Dmax=?R(D)＝0就是I(X;Y)＝0，这时试验信道输入与输出是互相独立的，所以条件概率p(yj/xi)与xi无关。即需满足条件

23从上式观察可得：在j=1，…，m中，可找到值最小的j，当该j对应的pj＝1，而其余pj为零时，上式右边达到最小，这时上式可简化成

24例4-2：设输入输出符号表为X＝Y?{0，1}，输入概率分布p(x)={1/3，2/3}，失真矩阵为求Dmin和Dmax。

25解：当Dmin＝0时，R(Dmin)＝H(X)＝H(1/3,2/3)＝0.91比特/符号，这时信源编码器无失真，该编码器的转移概率为

26当R(Dmax)＝0时此时输出符号概率p(b1)＝0，p(b2)＝1，所以这时的编码器的转移概率为

272.R(D)函数的下凸性当给定信源概率分布p(x)时，互信息量I(X;Y)是信道