基于RGBD图像的图像分割算法研究剖析.ppt

据此，提出了一种深度边缘检测算子，如图所示，在像素点处取圆形邻域，并沿直径将其分为2半， 则2个半圆邻域内像素深度在三维空间中的表现如右图所示，可以明显看出他们之间的差异，以此差异作为该像素点的深度变化程度， 同时，由于场景中存在一些物体相对视角倾斜，其在深度图像中表现为深度的渐变， 为了降低这种深度渐变对结果产生的影响，引入了高斯权重，为距离中心像素点更近的像素点赋更大的权重 * 除了深度信息之外，物体的几何特征也能改善边缘检测的效果， 如厨房场景中的柜子与墙壁之间的颜色、深度都极为相似，但其表面的方向不同， 根据物体之间的这种表面方向的变化，同样能够提供有用的边缘信息 * 在此之上，提出了一种法向量边缘检测算子， 同样针对像素点取圆形邻域，并沿直径分为2个半圆区域，则2个半圆区域内的像素在三维空间中的表现如右图所示， 分别对2个半圆邻域计算法向量，并使用2者之间的夹角衡量法向量的变化程度， 在计算法向量时，本文使用平面拟合的方法对点集的法向量进行计算 * 这是一个书房的场景，对其分别使用3种边缘检测算子进行计算的结果如图所示， 可以看出，彩色边缘检测算子能够捕捉到墙壁与挂幅这种颜色差异较大的物体之间的边缘信息， 而深度边缘检测算子更善于捕捉图中红色椅子与其后物体之间这种深度差异较大的边缘信息， 针对墙壁之间的边缘，颜色纹理都极为相似，使用法向量边缘检测算子更容易捕捉该边缘信息 * 这是一个厨房场景及其边缘检测的效果 * * 接下来将介绍一下RGBD图像上的标记分水岭算法 算法的过程如图所示，首先在彩色、深度、法向量三种边缘检测的结果之上，分别提取标记图像并进行融合，获得最终的标记图像， 然后使用该标记图像对彩色梯度图像进行修正，之后使用分水岭算法进行分割获得分割结果。 * 分水岭算法是一种应用较为广泛的分割算法，其为梯度图像中的每一个极小值及其影响区域建立一个集水盆，作为分割区域 但由于图像中的噪声，像素点属性有时会发生细微的变化，在梯度图像中形成了伪极小值， 如图所示，这种伪极小值的深度通常较小，据此对伪极小值进行去除，只保留深度较大的真实极小值 * 分别对彩色、深度、法向量的边缘检测结果提取标记图像，如图c, d, e所示， 彩色标记图像能够为墙壁及画框这种颜色差异大的区域提供较好的标记， 而深度梯度图像在台灯及墙壁这种深度差异大的区域有较好的效果， 法向量标记图像则在门与墙壁这种方向差异较大的区域上提取标记的效果更好。 对3种标记图像进行融合，获得的标记图像具有3者的优势 * 根据提取的标记图像，对彩色梯度图像使用极小值标定技术进行修正，然后使用分水岭算法进行分割。 如下图所示，中间为修正前的分割结果，每个色块都代表了一个分割区域，可以看出存在很明显的过分割现象， 而右图为修正后的分割结果，不仅抑制了过分割现象，且具有较好的分割效果 * 在分割过后，分割结果中存在一些小区域，对这些小区域进行去除，如图所示，为小区域及其相邻区域分别计算颜色均值， 并使用欧氏距离计算小区域与相邻区域间的相似度，将小区域并入最为相似的区域之内， 效果如图所示，对门上的一些孤立小区域进行了去除，同时对台灯附近的过分割现象也有所改善 * 实验部分与高丽在2007年提出的标记分水岭算法以及silberman在2012年提出的室内分割算法进行比较， 如图所示，对某厨房场景进行分割， 针对房梁、墙壁与天花板，文献1将其中2个区域合并在了一起，文献2产生了一个错误的分割区域，而本文对其进行了正确分割 * 对某客厅场景进行分割，效果如图所示， 针对桌子中央的水果盘，文献1未分割出来，文献2在水果盘后桌子上产生了错误的分割，而本文对其进行了正确分割 * * 最后是总结与展望 论文针对深度图像，提出了2种边缘检测算子，利用物体的几何特征对三维空间中的边缘进行检测， 然后提出了一种RGBD图像上的标记分水岭算法，提取标记图像对梯度图像进行修正，有效的抑制了过分割现象，提高了分割的准确率 * 论文展望主要为： 由于深度图像上存在较大的噪声，对结果产生了影响，需要进一步研究如何降低噪声的影响； 本文使用标记分水岭算法进行分割，边缘不够准确，可以从区域合并的角度进行研究，改善分割效果 * 以下为我在研究生期间的科研工作及获得的成果 * 我的介绍结束了，谢谢各位老师 * 深度图像边缘检测算子 法向量边缘检测算子 多方向的圆形边缘检测算子 法向量：平面拟合 协方差分析法 * 边缘检测算子效果对比 * RGB图像 深度边缘检测算子 法向量边缘检测算子 彩色边缘检测算子 边缘检测算子效果对比 * RGB图像 深度边缘检测算子 法向量边缘检测算子 彩色边缘检测算子 目 录 背景介绍 研究内容概述 RGBD图像上的边缘检测算子 RGBD图像上的标记分水岭算法