基于GPU加速的实时视频超分辨率重建.docVIP

基于GPU加速的实时视频超分辨率重建 　　摘要：基于稀疏表示的超分辨率算法的图像重建质量好，但算法复杂，现有的CPU串行执行算法无法满足视频实时处理的需要为此提出了基于GPU加速的稀疏表示的实时视频超分辨率算法该算法着重于优化数据并行处理流程，提高GPU资源利用率，通过设置视频帧队列、提高显存访问并发率、采用主成分分析（PCA）降维、优化字典查找等手段，使算法执行速度比现有CPU串行算法提高了2个数量级，在显示分辨率为669×546的视频回放测试中达到每秒33帧 　　关键词：视频；实时；超分辨率；稀疏表示；通用计算图形处理器 　　中图分类号： TP391 文献标志码：A 　　0引言 　　超分辨率（SuperResolution，SR）重建的目标是通过单幅或多幅低分辨率图像得到高分辨率图像， 　　现有主要方法包括基于多帧图像融合的超分辨率重建与基本图例学习的超分辨率重建基于多帧图像融合的超分辨率重建算法， 　　如文献[1-3]，利用对同一景物的多幅低分辨率图像得到高分辨率图像这类重建方法提升图像的分辨率倍数受到较大限制[4-5]，一般不超过2倍近年来，基于图例学习的超分辨率重建获得了快速发展，超分辨率提升倍数可达到3至5倍Freeman等[6]首先提出了基于学习的图像超分辨率重建方法Chang等[7]基于图像块在低维度空间和高维度空间具有相似的近邻关系的假定，提出了近邻嵌入的超分辨率重建（Super Resolution through Neighbour Embedding，SRNE）方法，该方法具有与Freeman的方法相近的效果，同时又减少了引入人工杂质；但是该方法忽略了图像的区域特征，对所有区域取相同的近邻个数重建图像Chan等[8]提出的NeedFS（Neighbor Embedding based superresolution through Edge Detection and Feature Selection）则充分地考虑了图像的区域特征，例如边沿、平滑区域等，对不同区域采用不同的近邻个数，并且通过旋转图像扩展训练集，获得了较好的重建效果；但同时也增加了算法的复杂度廖秀秀等[9]在上述文献的基础上提出了基于流形学习和梯度约束的图像超分辨率重建方法，实验中获得了更好的图像重建效果Yang等[10]，Zeyde等[11]以及Dong等[12]基于图像块可由完备字典中的少数原子项近似表示的思想，提出了基于稀疏表示的超分辨率重建方法，对图像细节和边缘的恢复比近邻嵌入的方法有更好的效果 　　虽然基于图例学习的超分辨率重建算法在图像超分辨率重建应用当中取得了良好的效果，但在视频超分辨率重建应用领域，由于这类型算法计算复杂，往往难以做到实时处理，不能满足实时性要求高的应用，如在线播放、在线视频分析等 　　近年随着以统一计算架构（Compute Unified Device Architecture，CUDA）为代表的新一代图形处理器（Graphics Processing Unit，GPU）通用计算模型的快速发展，为计算机图像处理技术的发展和应用带来了契机Pu等[13]实现了基于GPU加速的近邻嵌入图像超分辨率重建算法，同时运用多采样随机投影树减少冗余的图像块数量，与非GPU加速的算法比较获得了1至2个数量级的速度提升 　　Chantas[14]实现了基于变分贝叶斯推断框架和保持图像边缘先验的图像超分算法，由于算法计算量大，故采用GPU并行计算进行提速，相对于非GPU计算，获得了10倍速度提升 　　Wetzl等[15]基于GPU并行计算实现了一个利用多帧图像重建高分辨率图像的算法，能够在109ms内通过10帧带噪声的200×200像素的低分辨率图像重建一幅2倍尺度的高分辨率图像然而，上述算法在图像的重建效果与图像的分辨率方面仍有提升空间近年随着高清屏的普及，对高清视频的实时处理与回放提出了更高的要求 　　受近年稀疏表示的超分辨率重建算法和快速发展的以CUDA为代表的GPU通用计算模型的启发，提出基于GPU加速的实时视频超分辨率重建算法算法分为两个环节：基于图例学习的字典训练和视频超分辨率重建前者是后者的前提，但不需要考虑速度问题，在离线方式执行一次生成所需的字典即可视频超分辨率重建采用GPU加速，分为以下主要步骤：1）提取视频帧，对每帧图像进行分块，并提取图块特征；2）在训练得到的字典中，通过正交匹配追踪算法寻找每个图块的稀疏的字典项线性表示，得到非零字典项权值；3）利用权值和高分辨率图块字典计算出估计的高分辨率图块；4）所有估计的高分辨率图块叠加得到最终高分辨率图像四个步骤串行执行，每个步骤内部采用并行执行，充分利用CPU和GPU资源，从而达到实时处理的速度要求 　　1GPU加速的实时视