基于学习的图像超分辨率算法.pdfVIP

1 1 基于学习的图像超分辨率算法 林宙辰 微软亚洲研究院，北京 100190 1 引言 超分辨率（superresolution）算法是增强图像或视频分辨率的技术，它的目的是要使得输 出的图像或视频的分辨率比任意一幅输入的图像或输入视频的任意一帧的分辨率都要高。这 里的“提高分辨率”意味着已有内容更加清晰或者用户能看到原来没有的细节。在获取高质 量的图像或视频比较困难或者代价比较昂贵的时候，使用超分辨率算法是很有必要的。比如 在视频监控（video surveillance）中，人脸所占的区域往往只有几十个像素；在遥感（remote sensing）中，超高分辨率器材的价格会远远高于一般分辨率器材的价格；而且用户对提高分 辨率的需求没有止境。 超分辨率技术自 Tsai 和 Huang [1] 1984 年提出以来算法甚多，按照其主要原理大致可分 为四类[2–4]。第一类是基于插值的算法。这类算法先把低分辨率图像配准（register）到要计 算的高分辨率图像的格点上，然后运用非均匀插值（non-uniform interpolation）技术把高分辨 率图像每一像素的值插值出来，最后再反卷积以进一步提高清晰度。第二类是基于频率的算 法。这类算法利用了傅立叶变换（Fourier transform）空域上的平移对应于频域上的相移的性 质，从具有不同相位的低分辨率图像的频谱中估计出高分辨率图像的频谱，然后做傅立叶反 变换重构出高分辨率图像。第三类算法是基于重构（reconstruction-based）的算法。这类算法 先是根据低分辨率图像和高分辨率图像之间的配准关系，得出每个高分辨率像素对每个低分 辨率像素灰度值的贡献，由此得到一个联系高分辨率像素构成的矢量和低分辨率像素构成的 矢量的线性方程组，再通过求解该线性方程组获得高分辨率图像。第四类算法是近年来才涌 现出来的新型算法，即基于学习的算法。相比之下，前三类算法只是把图像作为信号来处理， 而基于学习的算法更注重对图像内容和结构的理解，它利用和问题及数据相关的先验知识来 提供更强的约束，因此经常能得到更好的结果。 现有的基于学习的超分辨率算法已有不少，如果按照适用的图像来分，它可以分成通用 算法和专用算法两种。通用算法指的是该算法可适用于各种类型、各种尺寸的图像或视频， 比如[5–14]。而专用算法指的是该算法只适用于某种类型、某一尺寸的图像或视频，比如用于 人脸幻构（face hallucination）的算法[15–25]。通用算法的特点是要把图像分块，先逐块处理， 再联合处理以消除相邻块之间的不一致。而专用算法目前基本上只处理人脸图像或视频，这 既是应用上的驱动，也是由人脸的特殊性决定的，因为人脸有非常强的结构，而这种结构又 比较好表示，比如用特征脸（eigenface）[10, 21]、张量脸（tensorface）[23]等。另一方面，基 于学习的超分辨率算法如果按照它的运行细节来分，则可以分成直接最大后验算法和间接最 大后验算法两类，其中后者还可以再细分成全局算法和局部算法两类。以下我们就按后一种 分类法简要介绍现有的基于学习的超分辨率算法的思想，然后探讨基于学习的超分辨率算法 的极限，即它最多能“有效放大”图像多少倍。 2 现有的基于学习的超分辨率算法综述 2.1 间接最大后验算法 抽象地说，间接最大后验算法是把超分辨率问题表述成如下形式： 2 2 ? ? 1 arg max N i i P P ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ?? ? H H L H H ， （1） 其中H是要求的高分辨率图像， ? H（ i ? L ）是和高（低）分辨率图像有关的数量或特征（ ? H（ i ? L ） 可以就是高（低）分辨率图像本身）。不同算法的差别在于似然 ? ? 1 N i i P ? ? ? ? ? ? ? ? ? ? ? L H 和先验概率 P ?? ? ? ? ? ? H 的定义。 2.1.1 局部间接最大后验算法 局部间接最大后验算法先逐块估计高分辨率图像，然后再解决相邻重叠的高分辨率图像块之 间的不一致性，从而得到最终的高分辨率图像。比较有代表性的算法是 Freeman 和 Pasztor [5] 1999 年提出来的 Markov 网络（Markov network）方法。这个算法也是最早的基于学习的超分 辨率算法，它属于通用超分辨率算法。它把超分辨率算法表述成高分辨率图像高频成分的推 断问题1： ?? ?H L H , 其中L 是把低分辨率图像插值到高分辨率图像的尺寸所得到的高分辨率图像的低频成分， H? 是缺失的高频成分。 H