机器视觉—运动场和光流.pptx

机器视觉 —— 运动场与光流 研发部培训讲义 2016-05-18 导 论 序列图像——视频 当摄影机和被摄影物体之间存在相对运动时，在物体所成的图像序列中，可以观测到的亮度模式的明显变化称为光流。 主要内容 运动场和光流 光流约束方程 变分光流原理 差分化求解 研究现状分析 1. 运动场和光流 运动场的定义：摄影机和空间环境存在相对运动；图像中的每一个点都对应于一个空间点；每一个空间点相对于摄影机的速度向量都可以投影为像平面上一个点上的二维速度向量，图像上每个像素的二维速度向量就构成运动场。 1. 运动场和光流 物体在图像上所产生的亮度模式的变化称为光流。 光流和运动场不总是一致的！ 运动场不为0，光流为0！ 运动场为0，光流不为0！ 1. 运动场和光流 从序列图像中能够提取出来的是光流，而不是运动场。 必须假设：大多数情况下，光流和运动场的区别不是很大。只有这样才能够根据光流来估计物体和相机之间的相对运动。 通过图像的局部信息不能够唯一确定光流 2. 光流约束方程 亮度一致性假设：假设3D场景中摄影目标上每个点的亮度值在微小时空间隔内保持恒定。 沿着灰度梯度方向的光流分量可以确定！ 但是垂直于灰度梯度方向上的光流分量无法确定！——孔径问题 3. 变分光流原理 根据光流约束方程无法唯一确定光流信息！必须引入假设。 光滑性假设：运动场在图像中的大部分区域是连续变化的。 衡量光流“不光滑”的程度： 光流约束方程的偏差： 变分问题： 平滑项 数据项 3. 变分光流原理 偏微分方程的定解条件 第一类边界条件：给定边界点的函数值 第二类边界条件：给定边界点的法向导数 3. 变分光流原理 对于亮度均匀的区域：已知边界上的光流值，或者已知边界上光流的法向导数，区域内的光流都可以唯一的确定！ 变分的自然边界条件：让解在边界上自由变化 —— 光流场的法向导数在边界上为零！ 4. 差分化求解 平滑项： 数据项： 最优化：寻找一组{ui,j, vi,j}，使得 4. 差分化求解 方程组系数矩阵的行列式值为： 方程组的解： 4. 差分化求解 迭代解形式： 灰度偏导数： 像素(i, j)上第n+1次的光流迭代值是像素(i, j)邻域像素的第n次迭代的光流的加权平均值