信息论与编码信息率失真函数与限失真编码.pptVIP

许多信号变换方法都可用于变换编码。需要注意的是数据的压缩并不是在变换步骤取得的，而是在量化变换系数时取得的，因为在实际编码时，对应于方差很小的分量，往往可以不传送，从而使数据得到压缩。对某一个给定的编码应用，如何选择变换取决于可容许的重建误差和计算要求。 变换具有将信号能量集中于某些系数的能力，不同的变换信号能量集中的能力不同。对常用的变换而言，DCT比DFT和WHT有更强的信息集中能力。从理论上说，KL变换是所有变换中信息集中能力最优的变换，但KL变换的变换矩阵与输入数据有关，所以不太实用。实际中用的变换其变换矩阵都与输入数据无关，在这些变换中，非正弦类变换(如WHT)实现起来相对简单，但正弦类变换(如DFT和DCT)更接近KLT的信息集中能力。DCT的变换矩阵的基矢量近似于托伯利兹(Toeplitz)矩阵的特征矢量。由于托伯利兹矩阵能体现人类语音和图像信号的相关特性，因此，对于大多数相关性很强的图像数据，DCT是KLT目前最好的替代，所以称DCT为次最优正交变换。　　 从变换后的能量集中程度的优劣来看，各种正交变换的由优至劣的顺序为： 　　KLT→DCT→SLT→DFT→WHT→HRT 　 若从运算量的大小，它们由小到大的顺序依次为： HRT→WHT→SLT→DCT→DFT→KLT 　　 近年来，由于DCT的信息集中能力和计算复杂性综合得比较好，而得到了较多的应用，DCT已被设计在单个集成块上。另外，近年来得到广泛研究和应用的一些编码方法(例如子带编码，小波变换编码，分形编码等)也直接或间接地与变换编码相关，在实际应用中，需要根据信源特性来选择变换方法以达到解除相关性，压缩码率的目的。另外还可以根据一些参数来比较各种变换方法间的性能优劣，如反映编码效率的编码增益，反映编码质量的块效应系数等。当信源的统计特性很难确知时，可用各种变换分别对信源进行变换编码，然后用实验或计算机仿真来计算这些参数，从而选择合适的编码。 我们致力于使得本书上达思想与方法，下及实现与应用，但是力所不及，欢迎多提宝贵意见至hellowyin@126.com/book/Showbook.asp?CPBH=044338-01DJ=36 学习得来终觉浅，绝知此事要自悟 * * 5.4.3* 保真度准则下信源编码逆定理证明 逆定理是一种不可能的形式，显然我们直接去证明很难着手，对于这种结论，一般用反证法先假设其成立，然后得出矛盾来证明。 证明：假设存在一种信源编码 C，有 M 个码字， ，而且M个码字是从 空间中选取的序列 ，它能使得 。编码方法仍采用前面所述的方法，将所有信源序列 映射成码字 ，而使 。根据失真典型序列的定义， 与 是构成失真典型序列，所以她们是彼此经常联合出现的序列对。而且又满 足 ，所以它们之间的失真 。 这种编码方法可看成一种特殊的试验信道： （5-51） 根据假设则在这个试验信道中，可得 又因在这信道中 =0，所以平均互信息 （5-52） 上式（5-52）中的不等式是因为在编码范围内，最多只有M个 ，所以 空间最大的熵值为 。又因为信源是离散无记忆信源，所以有 （5-53） 设 以平均失真 再现，则必有 又根据信息率失真函数的U型凸状性和单调递减性得 （5-54） 上式最后一项是根据离散无记忆平稳信源求得。因此得 或者 这个结果与定理的假设相矛盾，所以逆定理成立。 （5-55） 　 正如前面所述，保真度准则下的信源编码定理及其逆定理是有失真信源压缩理论基础。这两个定理证实了允许失真D确定后，总存在一种编码方法，使编码的信息传输率 ，那么编码的平均失真度将大于D。如果用二元码符号来进行编码的话，在允许一定量失真D的情况下，平均每个信源符号所需二元码符号的下限值就是R(D)。可见，从香农第三定理可知，R(D)确实是允许失真度为D的情况下信源信息压缩的下限值。比较香农第一定理和第三定理可知，当信源给定后，无失真信源压缩的极限值是信源熵H(S)；而有失真信源压缩的极限值是信息率失真函数R(D)。在给定某D后，一般R(D) H(S)。 无失真信源编码可以看成是