第八章 视频超分辨率重建.doc

先进技术专题讲座报告 题 目 视频超分辨率重建 专业、班级 学生姓名 学生学号 2013 年 12月 01日 摘要 随着视频和图像处理技术的飞速发展，人们对高分辨率视频和图像序列的需求越来越强烈。高分辨率图像能提供目标的更多细节信息，对于图像的分析和处理有重要作用。然而在某些应用场合，由于光学物理器件、处理器性能、信道传输带宽或存储容量等的限制，人们获得图像的分辨率往往较低，并且无法或很难通过直接方式突破这些限制。因此，如何在现有条件限制下，提高图像和视频序列的空间分辨率，就成为人们研究的重点。 ,目前,视频超分辨率重建中使用较广的是视频重建模型,但由于该方法未对边界帧进行考虑,不能对视频中的每一帧进行重建。每一帧图像的超分辨率重建主要包括配准和重建2 个过程,其中配准算法的精度直接关系到重建视频的质量。配准算法主要包括频率域和空间域两大类,总体而言,空间域方法适用于更为普通的运动模型,但在大运动情况下将会产生较大误差。重建算法主要包括非均匀内插法、迭代反投影法、集合论方法、最大后验概率估计法和自适应滤波法等。由于迭代反投影算法具有计算量小、收敛速度快、算法简洁和可自动降噪等优点,被有效地应用于视频超分辨率重建中。 超分辨率重建是采用软件方法对图像或者视频进行一系列的分析处理，提高图像或视频分辨率的一种数字图像处理技术。利用超分辨率重建技术能够在不升级现有采集设备的情况下，提高采集图像的分辨率；也能够在不增加传输信号带宽的情况下，改善图像或视频的画面质量。因此，超分辨率重建技术具有良好的研究价值和广泛的应用前景。 2 第一章 绪论 4 1.1研究背景及意义 4 1.2研究现状 5 第二章 超分辨率技术的发展历程 6 2.1 静态图像超分辨率重建 6 2.2 单视频超分辨率重建 6 2.3 多视频超分辨率重建 7 第三章 视频超分辨率重建中的关键问题 7 3.1 视频退化函数的估计 7 3.2 视频帧间配准 7 3.3 多个视频的时空对齐 8 3.4 视频超分辨率重建方法 9 3.5 时空“振铃效应”的消除 9 第四章 未来应用展望 10 参考文献 10 绪论 1.1研究背景及意义 在实际的数字图像应用中，为了能对图像进行高质量的后处理和图像分析，通常要求高分辨率图像或者高分辨率视频。图像的分辨率是指一幅图像中所包含的细节信息，图像分辨率越高，则图像拥有的细节就越多。在具体的应用中，图像的分辨率受很多因素限制。首先受限于成像传感器或者成像采集设备。目前典型的成像传感器有CMOS 传感器和CCD 传感器。这些传感器将采集得到的二维图像信号以二维阵列的形式排列。因此，传感器单位面积上传感元素的数量决定了采集图像的分辨率：传感器单元密度越大，则成像系统所采集到的图像分辨率越高。如果成像系统没有足够数量的传感元素，那么采集到的图像将由于较低的空间采样频率而发生混叠现象，即采集到的图像分辨率低且可能伴随块效应。因此，提高图像分辨率的最直接的方式为通过减小传感器单元尺寸来增加传感器密度。但是，减小传感器单元尺寸将同时带来传感器单位面积接收到的光量的减少，这样采集到的图像就会有散粒噪声。所以，传感器单元尺寸有下限值，通过这类手段提高的图像分辨率也有限。图像分辨率还受光学系统的影响，包括镜头模糊、由运动造成的光学模糊、透镜畸变效应等等，这类情况可以通过构造较高级的成像芯片以及光学元件来解决，但是这种做法一方面技术要求较高，并且造价昂贵，不适合大量生产，如不能广泛应用在普通的视频监控或者手机内置摄像头中。即使不考虑造价问题，在一些特殊场合，如卫星摄像，受外在物理环境所限不能采用高分辨率的传感器；视频监控，分辨率受摄像速度及硬件存储容量所限。 考虑到通过硬件方式来提升图像的分辨率存在分辨率提高有限、成本高、技术难度大、易受环境影响等问题，因此提出从软件方式着手，采用信号处理技术，权衡计算量及重建质量，对采集到的较低分辨率图像进行后处理，以提高图像的分辨率，这样一类技术就是超分辨率重建技术（Super-Resolution Reconstruction）。 超分辨率重建就是通过软件的手法，克服低分辨率成像系统的局限性，提高图像分辨率的方法。图1-1 是两组低分辨率图像进行超分辨率重建后的效果图，图1-1（a）中左边一幅图像是低分辨率图像，右边一幅为对其进行超分辨率重建后的高分辨率图像，图1-1（b）同前。对比可以看出，重建后的图像更清晰，噪声也降低了，如字母，边界部分都清晰可见。 （a）