[信息与通信]第四章信息率失真函数.ppt

第4章　信息率失真函数 本章主要讨论在信源允许一定失真情况下所需的最少信息率，从分析失真函数、平均失真出发，求出信息率失真函数R(D) 。 4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的R(D)计算 4.1 平均失真和信息率失真函数 在实际问题中，信号有一定的失真是可以容忍的。但是当失真大于某一限度后，信息质量将被严重损伤，甚至丧失其实用价值。要规定失真限度，必须先有一个定量的失真测度。为此可引入失真函数。 4.1.1 失真函数 假如某一信源X，输出样值为xi，xi?{a1,…,an}，经过有失真的信源编码器，输出Y，样值为yj，yj ?{b1,…,bm}。 如果xi＝yj，则认为没有失真； 如果xi ? yj，那么就产生了失真。 失真的大小，用一个量来表示，即失真函数 d(xi，yj)，以衡量用yj代替xi所引起的失真程度。 失真矩阵:单个符号的失真度的全体构成的矩阵 失真函数的定义可推广到序列编码情况，如果假定离散信源输出符号序列 ，其中L长符号序列样值 ，经信源编码后，输出符号序列 ，其中L长符号序列样值 ，则失真函数定义为： ? 4.1.2 平均失真 由于xi和yj都是随机变量，所以失真函数d(xi，yj)也是随机变量，要分析整个信源的失真大小，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真，记为 ? ? 对于连续随机变量同样可以定义平均失真 4.1.3 信息率失真函数R(D) 信源编码：在一定失真限制下，对信源输出的信号进行变换，包括连续信号的离散化，即将模拟信号通过采样和量化变成数字信号，以及对数据进行压缩，提高数字信号传输的有效性而进行的编码。 信源编码器的目的是使编码后所需的信息传输率R尽量小，然而R越小，引起的平均失真就越大。给出一个失真的限制值D，在满足平均失真 ? D的条件下，选择一种编码方法使信息率R尽可能小。信息率R就是所需输出的有关信源X的信息量。将此问题对应到信道，即为接收端Y需要获得的有关X的信息量，也就是互信息I(X;Y)。这样，选择信源编码方法的问题就变成了选择假想信道的问题，符号转移概率p(yj/xi)就对应信道转移概率。 1、 保真度准则 若平均失真度 不大于允许的失真D，即 ? D 称此为保真度准则。 2、D允许试验信道 若p(xi)和d(xi，yj)已定，选择信道，使其满足保真度准则，凡满足要求的这种信道称为D允许试验信道。 满足这种要求的信道有多个，则可给出满足下式条件的所有转移概率分布pij，它们构成了一个信道集合PD 在信源给定，而且具体定义了失真度后，总希望在满足一定失真的情况下，再现信源信息，使信源必须传输给收信者的信息传输率R尽可能的小； 或者说，在满足保真度准则下，寻找信源必须传输给收信者的信息传输率的下限值。 信息率失真函数R(D) 由于互信息取决于信源分布和信道转移概率分布，根据2-2节所述，当p(xi)一定时，互信息I是关于p(yj/xi) 的U型凸函数，存在极小值。因而在上述允许信道PD中，可以寻找一种信道pij，使给定的信源p(xi)经过此信道传输后，互信息I(X；Y)达到最小。该最小的互信息就称为信息率失真函数R(D)，即 R(D)是保真度准则下（ 　? D ）下所必须传输的信息率，也是熵压缩编码器输出可能达到的最低熵率。在进行信源压缩之类的处理时， R(D)就成为一个界限，不能让实际的信息率低于R(D)。 对于离散无记忆信源，R(D)函数可写成 p(xi)，i＝1,2,…,n 是信源符号概率分布； p(yj/xi)，i＝1,2,…,n j＝1,2,…,m 是转移概率分布； p(yj)，j＝1,2,…,m 是接收端收到符号概率分布。 例4-1-3 设信源的符号表为A＝{a1，a2，…，a2n}，概率分布为p(ai)＝1/2n，i＝1，2，…，2n，失真函数规定为 即符号不发生差错时失真为0，一旦出错，失真为1，试研究在一定编码条件下信息压缩的程度。 4.1.4 信息率失真函数的性质 1. R(D)函数的定义域 ⑴ Dmin和R(Dmin) Dmin＝0