视频稳定算法demo说明v10.docx

视频稳定算法说明撰写人:谭海富（Haiku）公司: 兴天实业-影像组时间: 2016.08.31_一、背景与目的视频抖动是指拍摄过程中由于摄像机存在不一致的运动噪声而造成视频序列的抖动和模糊。为了消除这些抖动，需要提取摄像机的真实全局运动参数，然后采用合适的变换技术补偿摄像机的运动，使视频画面流畅而稳定，这项技术通常称为视频去抖动或视频稳定。目前已有的视频去抖动技术分为如下两类：特征法和光流法。特征法在提取每帧图像的特征点的基础上，在相邻帧之间进行特征匹配，然后根据匹配的结果计算摄像机的全局运动参数，最后用滤波后的全局运动变换对原始序列进行补偿。该方法的效果很大程度上取决于特征匹配的精度，当场景中存在移动目标或者纹理特征不明显时，该方法的应用将受到限制。光流法首先计算相邻帧之间的光流，然后根据光流信息，通过运动分析获得全局运动参数，随后也是根据滤波后的运动参数来补偿原始序列，该方法的优点是可以获得每个像素的运动矢量；然而如果场景中存在不一致的运动区域，通常要结合视频分割来完成全局运动的估计，而这类方法由于要对每一像素点进行分析，一般需要相当大的计算量，此外光流计算固有的孔径问题也是该方法所必须要考虑的。本文在上面两种方法的基础上，结合两种方法各自的优缺点，做一个折中的视频去抖动算法测试，为后面无人机航拍去抖动做算法层面的技术储备。二、测试平台工具笔记本电脑（带较高配置的NVIDIA显卡） 一台三、算法简要说明该视频稳定算法主要基于Harris特征点检测及稀疏金字塔光流法（Lucas-Kanade）来进行运动估算。算法流程图如下：图：算法流程图关键函数说明：vx_node nvxHarrisTrackNode ( vx_graph graph,// 输入图表vx_image input,// 输入图像vx_array output,// 输出检测的特征点vx_image mask,// 掩码区域vx_array tracked_points,// 跟踪的特征点vx_float32 k,// 可信度vx_float32 threshold,// 阈值vx_uint32 cell_size,// 算法运算单元大小vx_scalar num_corners // 检测的特征点数量)该函数完成检测和跟踪输入图像的Harris特征点。检测出的特征点可用于下一步运动估计跟踪操作。vx_node VX_API_CALL vxOpticalFlowPyrLKNode ( vx_graph graph,// 参照图表vx_pyramid old_images,// 上一帧图像的金字塔vx_pyramid new_images,// 当前帧图像的金字塔vx_array old_points,// 上一帧图像的金字塔vx_array new_points_estimates,// 当前估算特征点vx_array new_points,// 当前帧算法计算出的特征点vx_enum termination,// 算法结束条件vx_scalar epsilon,// 误差vx_scalar num_iterations,// 算法迭代计算次数vx_scalar use_initial_estimate,vx_size window_dimension// 算法运行窗口大小) 上面函数完成Lucas-Kanade算法跟踪检测的Harris特征点，以得到对象的运动轨迹。下面只要通过特征对象的运动轨迹，弯曲，移动图像，减缓相邻多帧图像相对位置的变化，以达到减缓抖动的效果。四、应用说明由于特征检测，光流法跟踪估计运动等算法需要很大的计算量，为了得到实时的处理效果，借助NVIDIA显卡强大的GPU性能及其加速函数库辅助完成算法计算。实际运行效果表面，720P的视频流基本流程无延时减缓抖动。下一步迭代算法研究计划加上陀螺仪反馈信息，以实现更高精度计算及更稳定的视频防抖效果，以替代无人机云台。