电子学会：视频编码技术进展及发展趋势0508-xgzhang讲述.doc

视频编码技术发展报告 马思伟 王诗淇 张贤国 张新峰 余琴 高文 引言 数字图像/视频自上世纪50年代随着信息的数字化发展而出现并兴起，但随之而来的问题是数字化后的图像/视频其数据量急剧增加，远远超过了存储空间和传输带宽的承受能力，给数字视频应用带来了很大的限制。因此，视频压缩成为数字视频领域的核心问题之一，几十年来学术界和工业界都对其进行了长期而又深入的研究，并取得重要进展。 数字视频由在空间和时间上连续采样的离散信号组成，由于采样数据存在着大量的冗余，为压缩提供了可能性。一般将这些冗余归纳为空域冗余、时域冗余和统计冗余三大类。早期的视频压缩技术由于在硬件上受到计算和存储资源的限制，主要是通过统计编码的办法降低数据的统计冗余，比如哈夫曼码、哥伦布码等编码方法。上世纪60年代后期，出现了变换编码技术，即通过将信号从空域变换到频域消除数据在空间上的相关性，从而降低冗余达到压缩的目的，如富立叶变换、哈达码变换等。对于时域冗余，一般使用基于预测的编码方法，亦即预测编码。最早的预测编码系统模型是1952年贝尔实验室Culter[Culter 52]等人实现的差值脉冲编码调制DPCM(Differential Pulse Code Modulation)系统，其基本思想是不直接对信号进行编码，而是用前一信号对当前信号做出预测，对当前信号与预测值的差值进行编码传送。同年Oliver[Oliver 52]和Harrison[Harrison 52]将DPCM技术应用到视频编码中进行空域的相邻像素预测编码。1969年，运动补偿预测技术使得预测编码性能获得极大的改进，至70年代中期，预测编码开始与变换编码结合起来使用，到80年代已形成了经典的预测/变换混合编码框架，这一编码框架后来广泛应用于MPEG和H.26x系列编码标准，直至今天的新一代HEVC/H.265国际标准也是基于这一框架。 预测/变换编码技术主要是从信号处理的角度对视频信号进行去相关去冗余处理，以峰值信噪比和码率节省等客观指标衡量压缩效率，而人作为观看者会给出最直接也是最终的视频质量评价。在人观看视频的过程中，人眼的视觉特性是影响视频质量评价的决定性因素。基于这一点，研究者在进行信号处理压缩研究的同时提出了基于视觉特性的视频压缩方法，比如早在1959年，Schreiber等提出一种称为“Synthetic Highs”的编码方法[Schreiber 59]，即在编码时将图像内容分为纹理和边缘两类，针对纹理采用统计的方法进行编码，而对边缘信息采用视觉模型编码方法。这方面的后续研究还有基于轮廓或分割的编码、基于对象的编码、纹理分析合成编码、视觉编码等等，一般可以统一归类为广义上的基于模型的编码。 在本报告的第二节中我们将对以上两种类型编码技术的发展历程进行简单介绍，并针对预测/变换编码框架介绍国际/国内标准的情况，此外还对与应用密切相关的编码技术，如多视/立体视频编码、可伸缩编码、分布式编码、容错编码等，进行了简单介绍。本报告的第三节主要是对视频编码技术的近期进展进行介绍，包括以HEVC/H.265为代表的混合框架编码技术，3DV立体视频编码技术，基于视觉特性的编码，以及监控视频压缩、屏幕视频压缩等新兴应用相关的视频编码技术。 基于预测/变换框架的传统编码技术 图1给出了视频编码关键技术出现的历史顺序，C. Reader在其论述“History of MPEG”中对以往视频编码技术的发展历程进行了很好的归纳和总结[Reader 02]。这些技术在发展过程中逐渐融合，形成了以块为单位的预测/变换的混合编码框架，成为当今国际、国内编码标准普遍采用的技术框架，主要包括预测、变换、熵编码等关键技术，下面简要介绍其发展历程。 图1. 视频编码技术发展时间轴[Reader 02] 预测编码 预测编码即利用信号间的相关性，用前面一个或多个信号作为当前信号的预测值，对当前信号的实际值与预测值的差进行编码。预测技术在视频编码中有着重要的应用，在现代视频编码中包括帧内预测技术和帧间预测技术两种，分别用于消除空域冗余及时域冗余。 Harrison在1952年首先对帧内预测技术进行了研究，其方法是用已编码像素的加权和作为当前像素的预测值[Harrison 52]，研究中比较了一维(同一行内像素)DPCM技术及二维(多行内的相邻像素)DPCM技术的性能。在现代视频编码中，采用了基于块的帧内预测技术，这主要是考虑到与基于块的变换量化技术的统一以及实现代价。基于块的帧内预测技术在现代视频编码标准中的应用有MPEG-4标准中相邻块的频域系数预测，如DC预测及AC预测，H.264/AVC以及AVS标准中的多方向空间预测技术。 Seyler在1962年发表的关于帧间预测编码的研究论文[Seyler 62]奠定了现