限失真信源编码讲义.ppt

第4章 限失真信源编码 ;4.1 连续信源的熵和互信息 ; 随机波形信源输出的消息是随机的，因此，可用随机过程来描述。用随机过程描述其输出消息的信源称为随机波形信源。若信源输出用平稳连续型随机序列来描述，则此信源称为连续平稳信源。连续平稳信源也可分为连续平稳无记忆信源和连续平稳有记忆信源。平稳连续型随机序列中每个自由度上的变量是连续随机变量。用连续随机变量描述其输出消息的信源称为连续信源。下面讨论它们的信息测度。 ;连续信源基本的数学模型为 ; 式（4―1）定义的连续信源的熵并不是实际信源输出的绝对熵，连续信源的绝对熵应该再加上一项无限大的常数项。因为连续信源的可能取值有无限多个，若其取值是等概率分布的，那么，信源不确定性为无限大。当确知输出为某值后，所获得的信息量也将为无限大。可见，h(X)已不能代表信源的平均不确定性大小，也不能代表连续信源输出的信息量。 ;同理，可定义两个连续变量X，Y的联合熵和条件熵： ; 这样定义的差熵具有可加性、凸状性和极值性，不存在非负性和变换不变性等。 设基本连续信道如图4―1所示。其输入和输出都是单个连续型随机变量的信道。可用模型{X,p(y|x),Y}来描述单符号连续信道。X是输入连续型随机变量，X取值区间为［a,b］或实数域 R；Y是信道输出连续型随机变量，取值区间为［a′,b′］或实数域 R；信道的传递概率密度函数为p(y|x),并满足：;信道输入X满足： ;定义X和Y之间的平均互信息量为; 连续信道的平均互信息量和离散信道下平均互信息量的关系式完全类似，且保留了离散信道平均互信息量的所有含义和性质。可见，将差熵定义为连续信源的熵是有重要实际意义的。 单符号连续信道的信息传输率：  R＝I(X;Y)， 比特/自由度 （4―11）  多维连续信道平均互信息等相关内容可参见有关文献。 ;4.2 信息率失真理论 ; 为了定量地描述信息传输率和失真的关系，可以略去广义的无扰信道，所谓广义无扰信道，是指把信道编码、信道、信道译码这三部分看成一个没有任何干扰的广义信道。另一方面用虚拟手法拿信道来表示失真信源编码的作用，把信源编码和信源译码等价成一个信道，由于是失真编码，所以信道不是一一对应的，用信道传递概率描述编、译码前后关系，这样通信系统可简化为如图4―2所示。 ;图 4―2;设离散无记忆信源： ; 对应于一对（u,v），定义一个非负函数： d(ui,vj)≥0, i＝1，2，…，n;j＝1，2，…，m (4―12)  称此函数为失真函数（或称单个符号失真度）。它用来测度信源发出一个符号ui，而接收端收到一个符号vj时所引起的误差或失真。 ; 由于信源U有n个符号，而接收变量V有m个符号，所以d(ui,vj)就有n×m个，这n×m个非负的函数可以排成矩阵形式，即： ; 失真函数可有多种形式，但应尽可能符合信宿的主观特性,即主观上的失真感觉应与d(ui,vj)的值相对应。D越大，所感觉到的失真也越大，而且最好成正比。当ui＝vj时，d应等于零，表示没有失真，当ui≠vj时，d为正值。常用失真函数有： 均方失真： ; 误码失真：; 均方失真和绝对失真只与(x－y)有关，而不是分别与x及y有关，在数学处理上比较方便；相对失真与主观特性比较匹配，因为主观感觉往往与客观量的对数成正比，但其数学处理困难得多。其实选择一个与主观特性完全匹配的失真函数已非常困难了，更不用说还要便于数学处理了。前三种失真函数适用于连续信源，最后一种失真函数适用于离散信源。误码失真函数表明，当接收符号与发送符号相同时，就不存在失真和错误，即失真度为零;当接收符号与发送符号不同时，就存在失真。 ? ; 而且认为只要发送符号与接收符号不同，由此引起的失真都相同，即失真度为常数。如果常数值为1，则称为汉明失真。离散对称信源的汉明失真矩阵 D为一方阵，且对角线上的元素为零：; 【例4―1】 二元对称信源，信源U＝{0，1}，接收变量V＝{0,1}，在汉明失真定义下，失真函数为：  d(0,0)＝d(1,1)＝0, d(0,1)＝d (1,0)＝1  它表示当信源发送符号0（或符号1）而信宿接收到符号0（或符号1）时，则认为无失真或无错误存在;反之，若发送信源符号0（或符号1）而信宿接收符号1（或符号0）时，则认为有错误，并认为这两种错误的后果是等同的。其失真矩阵为 ;