基于传输端区域分割的超分辨率重建技术2014202110020吴亚飞.docx

基于传输端区域分割的超分辨率重建技术1 引言视频图像的超分辨率恢复技术，是利用各帧低分辨率图像提供的不完全相同的信息来提高图像的空间分辨率，就是由多帧低分辨率降质图像恢复成单帧或多帧高分辨率清晰图像。在现实生活中，由于成像设备、数据压缩、传输差错等原因，人们获得的图像往往不能满足人们对更高分辨率的需求，因此图像超分辨率重建是必要的。从Tsai和Huang首次提出超分辨率重建的概念起，该技术的研究经历了两个重要的发展阶段。第一阶段的研究对象为未压缩的图像和视频，集中在空间域内进行分辨率增强处理，包括非均匀内插法、反向投影法、贝叶斯法以及凸集投影法。然而，实际遇到的多数图像和视频是以压缩码形式存在的，如MPEG、H.26x、JPEG、Motion-JPEG等。因此，第二阶段的研究重点为压缩后的图像和视频。图1.视频压缩中超分辨率重建技术的流程图本文的超分辨率重建技术是基于传输端的区域分割的基础上的。流程图如图1所示。超分辨率重建时，首先进行配准,在运动区域要进行亚像素精度的运动估计。对解码后的低分辨率图像序列进行SR重建，对于无运动平滑区,在平滑区域进行的运动估计远远少于纹理区，采用简单的双线性插值技术恢复高分辨率图像；无运动的纹理区影响着降采样和压缩过程，采用基于AMR（Artificial Motion Reconstruction）的超分辨率重建技术恢复高分辨率图像；对于运动区域，采用基于配准的超分辨率重建技术来恢复高分辨率图像序列。2 基于区域分割的超分辨率重建技术2.1 无运动平滑块超分辨率重建方法根据传输到接收端的分割信息，首先判定所在帧当前宏块的类型，如果为无运动平滑块，本文采用双线性插值的超分辨率重建方法来恢复高分辨率图像序列。双线性插值的输出像素值是它在输入图像中的的领域采样点的平均值，它根据某像素周围4个像素的灰度值在水平和垂直两个方向上对其插值。2.2 运动块的超分辨率重建方法图像配准技术是对由于上述某一种原因或者多种原因造成的同一场景中的两帧或多帧帧间存在非冗余信息的图像进行匹配的过程，它能够建立两帧图像像素坐标系的关系。利用多帧序列图像来重建高分辨率图像的关键是精确的知道相邻帧间的亚像素运动趋势，并且精确估计遗失帧，因而利用序列图像来复原高分辨率图像可以分为图像配准和图像复原两个部分。图像配准就是通过配准图像找到所需要的图像间的精确的亚像素运动趋势，然后用来复原高分辨率图像。常见配准方法有：利用图像灰度信息的配准方法，利用图像特征的配准方法；利用统计学和信息论的知识来解决配准的方法；还有一种基于二次曲面拟合的配准方法。在获得了精确的亚像素估计后，我们就可以利用散乱数据插值的方法或者是拟合的方法来复原高分辨率图像。图像匹配的基本原理就是首先定义相似性测度E，然后在序列图像的相对移动中找到使相似性测度E取最大或者最小值的位置，常见的相对移动有平移、旋转。都可以用一空间变换矩阵T表示，所以配准过程可归结为确定矩阵T使E为最大或者最小。获得高质量的高分辨率图像，是许多应用领域所期望的，用带有子像素运动的多帧图像获取超分辨率图像是个很有意义的课题。因为由相邻的两帧得到的每一帧低分辨率图像都尽可能包含新的所期望的高分辨率图像的信息。国内外提出了一些多帧图像超分辨率重建的方法，大多基于这样的前提：根据运动轨迹信息,由有效帧得到的全部像素均可映射到参考帧上，以获取一个未采集的帧。如果假基于超分辨率重建的视频图像压缩方法的研究定场景整体恒速运动，上述未采集帧包含了均匀的空间采样，反之则包含了非均匀（non-uniformly）的空间采样。为了获取一个均匀的空间采集图像，需要在一个均匀的采样网格中进行一次插入图像配准算法，首先假设图像帧间存在某些变换，例如平移变换、仿射变换和平面变换等，然后对序列图象进行运动配准。本文，假设图像进行平移变换，对理想视频进行图像配准。原理如图2所示。图2.基于图像配准的超分辨率重建本文采用的是基于区域分割的超分辨率重建技术，其中运动块采用基于图像配准的超分辨率重建方法：建立网格，与视频序列当前的L-th解码帧与相关联，把帧当前运动块的像素值填充到HR网格中，同时也与的临近帧P帧和B帧相关，因为当前帧与临近帧P帧和B帧产生了半像素运动矢量，运动矢量由视频压缩标准提供，然后根据块匹配准则进行运动估计。运动块的SR重建过程如下：将当前帧运动块的像素值填充到网格的相应位置上。利用传输的运动矢量将从邻近帧（P帧和B帧）得到的像素值填充到HR网格的“空”位置上。在填充完所有可填充的位置后，用插值技术得到HR网格中剩余“空”位置的像素值，这样就可以得到估计的HR图像。采用基于亚像素精度的图像配准技术来恢复高分辨率图像序列,原理如图3所示。图3.P帧运动块M的超分辨率重建方法对于己知运动信息的视频序列，如本文