信息论第六章率失真函数理论及限失真信源编码.pptVIP

一、变分法的定义与应用一、变分法的定义与应用一、变分法的定义与应用下面总结一下计算连续信源R(D)函数的步骤：一、变分法的定义与应用一、变分法的定义与应用15o将所有S的应取值选到，得所对应的和坐标值，从而得到函数曲线。以上推到仅从变分法入手，得到求解泛函极小值的目的，但是实际求解积分方程，并非易事。特别是想得到λ(x)和q(y)的严格解非常困难，通常都是采用数值解法得到近似解。不过实际应用也有特例，应用数学技巧可以简化求解方法。比如一些相对于失真函数为：时；有解析式！（留做习题！）一、变分法的定义与应用DR(D)0S(D)二、某些失真函数定义下的连续信源的率失真函数当d(x,y)=f(x-y)时：这种场合下，求泛函条件极值的问题，可以大大简化。§6.5连续信源的率失真函数二、特殊失真定义下连续信源的R(D)二、特殊失真定义下连续信源的R(D)这种场合下，求解积分方程问题就变成求两个函数卷积的问题。二、特殊失真定义下连续信源的R(D)如果当gs(x)和p(x)已知时，从两个函数的卷积关系中可以得到qo(x)的值,从而避免了求解积分方程的麻烦。但是一般性的求解卷积问题也不轻松,所以还要利用一些变换关系来继续简化。二、特殊失真定义下连续信源的R(D)§6.3离散信源率失真函数的计算所以此刻要使D＝0；必有S＝－∞。考虑普遍性，即在m*n个乘积项中只要有一项使得：下面再讨论当D＝Dmax时S的值？有了以上讨论，就可以大致画出R(D)函数和斜率曲线S(D)形式。很明显在D＝0处的斜率S将趋于无穷大，尤其对于连续信源其R(D)函数曲线将不予R轴相交。如虚线所示。而在D＝Dmax处的斜率S常有从某一负值突跳到0,因而在这一点上S(D)曲线有时不连续,而其它定义域内均为D的连续函数。§6.3离散信源率失真函数的计算R(D);S(D)D0H(X)R(D1)D1Smax定义域是值域是。三、一般离散信源率失真函数的计算步骤：1o.给定信源特性及失真函数定义。2o.设定参数S和计算相关变量。§6.3离散信源率失真函数的计算§6.3离散信源率失真函数的计算3o.计算率失真函数的参量表达式(Parametricexpression)：四、二元信源在对称失真函数定义下的率失真函数这样的条件下，我们称该信源为二元对称信源。BinarySymmetricSource---BSS由于此类信源的特殊性，故可以求得它的信息率失真函数的解析表达式:§6.3离散信源率失真函数的计算例6-4：我们按照上节所给出的求解步骤依次解答。§6.3离散信源率失真函数的计算第二步：求解参数方程解之:§6.3离散信源率失真函数的计算又根据所计算出的?i列出方程：其中的q为理想的输出分布。带入?i得联立方程组：§6.3离散信源率失真函数的计算解之：下一步带入参数表达式R(D)：§6.3离散信源率失真函数的计算实际上对于这种最简单的离散信源，我们可以利用S和D的关系来消掉参数S，从而得到R(D)的解析式，但它仅是一个特例。§6.3离散信源率失真函数的计算我们只要将S和exp(?s)带入R(s)中就可得到R(D)函数的解析表达式：以下我们讨论该式的物理意义：§6.3离散信源率失真函数的计算此式表达了这样一种含义：由于第一项H(X)=H(Pi)反映出信源本身客观存在的信息率；而后一项H(D/?)，则给出由于信宿可以容忍一定的失真，因而可需压缩的信息率。H(X)就是原有的信息率，减去由于容忍一定的失真D，而可以节省掉的信息率H(D)，所剩下的就是必须要传送的信息率R(D)。第六章：限失真信源编码§6.4离散信源率失真函数的迭代算法(Theiterationalgorithmofrate-distortionfunctionfordiscretesource)一般来说求解R(D)函数并非易事，仅有某些特例方可得到R(D)函数的解析式,而绝大多数均由参量表达式给出。即使这种场合计算起来也很困难,因此我们大都借助计算机计算。因此求证R(D)函数的迭代算法公式是非常必要的环