视频增强技术综述2.0.doc

视频增强技术综述 概述 图像超分辨率（super resoulution，SR）指利用一幅或者多幅低分辨率（low resoulution，LR）图像，通过相应的算法来获得一幅清晰的高分辨率（high resoulution，HR）图像．HR意味着图像具有高象素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用．要获得高分辨率图像，最直接的办法是采用高分辨率图像传感器，但由于传感器和光学器件制造工艺和成本的限制，在很多场合和大规模部署中很难实现。低分辨率的图像包含的细节信息较少，但我们可以得到一系列低分辨率的图像，这些图像包含的部分细节信息各有不同，能够相互补充。通过这一系列低分辨的图像，经过一定的处理，可以得到一幅分辨率较高、包含信息较多的图像。这个处理过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽（获取同一场景的多帧图像序列）换取空间分辨率，实现时间分辨率向空间分辨率的转换。因此，利用现有的设备，通过超分辨率技术获取高分辨率图像具有重要的现实意义。 视频的超分辨率增强是指融合来自相同动态场景的多个低分辨率视频序列的信息,去重构一个高时空分辨率的视频序列。可想而知，视频超分辨率包括时间超分辨率和空间超分辨率。视频中某些事件发生变化比较快,这样就需要用所谓高速(高帧率) 的摄像机来采样，如果使用普通帧率的摄像机，那么在时间上就会有一些细节信息的丢失。视频的时间超分辨率就是要恢复这些丢失的时间上的细节信息，而视频空间超分辨率就是通常人们提到的图像超分辨率复原。 摄像机在时间和空间上的分辨率能力是有限的。空间分辨率取决于摄像机光学传感器的空间密度及其本身引入的模糊误差，这些因素限制了图像中被观察到的物体或特征的最小空间尺寸；时间分辨率取决于摄像机的帧率和曝光时间，这就限制了视频序列中能被观察到的动态事件的最大变化速度。比摄像机帧率发生更快的动态事件在记录下来的视频序列中是不可见或者不正确的，如在网球比赛的视频中是不可能观察到高速运动的网球的全部运动和状态的。有两类非常典型的由高速运动引起的可视化效果：①运动模糊，它是摄像机的曝光时间引起的，如高速运动的网球所带有的尾迹；②运动混淆，它是由于帧率限制的时间采样引起的，如一个小球以正弦波形向前运动，摄像机的帧率如果与小球正弦运动周期可比或相等，记录下的视频上就将观察到小球以很长的周期正弦运动或直线运动，这类似于一维信号的欠采样。这两种视频效果都不能依靠视频的慢速播放而消除，甚至使用复杂的时间插值算法来增加帧率也收效甚微，这是因为包含在单个视频序列中的信息是不足以恢复高速动态事件中丢失的信息。多个视频序列提供了附加的动态时空场景采样，这样就可融合这些信息去弥补丢失的信息，产生一个高时空分辨率的视频序列。 超分辨率 历史演变 图像超分辨率的概念和方法最早由Harris 和Goodma[1, 2]于20世纪60年代提出；随后有许多人对其进行了研究，并相继提出了各种方法,如长椭球波函数法、线性外推法、叠加正弦模板法。以上这些方法虽然能给出令人印象深刻的仿真结果，但在实际应用中并没有获得理想的结果。80 年代末之后,人们在超分辨率图像复原方法研究上取得了突破性的进展。Hunt 等人不仅在理论上说明了超分辨率存在的可能性[3]，而且提出和发展了许多有实用价值的方法，如能量连续降减法[4]、Bayesian分析法[5, 6]和凸集投影法[7]。超分辨率图像增强逐渐成为人们研究的热点，人们从多个角度对其进行了深入的研究。20 世纪90 年代初Irani 和Peleg[8, 9] 将经过相似性变换和仿射变换的图像进行超分辨率强,Mann 和Picard[10]又研究了经过投影变换的图像，其他的研究者还研究了非参数运动模型和区域追踪[11]。在成像建模方面，不同的图像污染模型被人们使用。Irani 和Peleg 的图像污染模型包括光学模糊和空间量化误差，Bascle 等[11]将运动模糊也包含进来，Cheeseman 等[12]从Vidicon 相机的基准调平中建立成像模型。人们在统计先验知识或调整规则的使用上也采取了不同的方法。Cheeseman 等使用了基于高斯平滑先验知识的MAP估计器来增强卫星遥感图像；Schultz 和Stevenson 改进了Bayesian 方法，通过在边缘响应上使用带Huber 惩罚函数的MRF 先验知识来比较单幅和多幅图像的增强方法；Capel 和Zisserman也比较了ML 和MPA 估计器对视频马赛克效果的超分辨率增强[13]；Zomet 和Peleg 应用Irani 和Peleg 的误差反向投影方法来增强他们使用管道投影方法获得的视频马赛克效果[14]；Rudin 等应用了重采样和去模糊方法，在去模糊算法中使用了总变差规则[15]。利