非结构化道路环境理解[精选].ppt

非结构化道路图像理解 一.道路图像理解综述 道路检测 连续帧道路检测 道路偏离检测 道路识别与跟踪 1.道路检测 1.1 基于特征的方法 1.1.1 道路区域检测 1.1.2 道路边缘检测 1.2 基于模型的方法 1.2.1 建立道路模型 1.2.2 提取车道线像素 1.2.3 拟合车道模型 1.1 基于特征的方法 基于特征的方法不需要道路的几何结构信息, 主要利用图像中道路区域的颜色、纹理、边缘等低级特征从图像中检测出路区域或路边缘。 1.1.1 道路区域检测 图像预处理： 选定感兴趣区域, 消除噪声，边缘增强 边缘抽取： 常用的边缘算子包括Canny、Roberts、 Laplace、Prewitt、Sobel等算子 二值化: 阈值的选取 Hough变换可以得到连续的道路直线 1.2 基于模型的方法 1)建立道路模型 对道路形状的假设 2)提取车道线像素 边缘检测、哈夫变换、模板匹配 3)拟合车道模型 直接拟合、哈夫变换和似然函数方法。 2.连续帧道路检测 将图像处理限制在上一帧图像的结果的邻域可以显著提高道路检测的速度, 降低对硬件的要求, 满足实时性要求。 3.道路偏离检测 道路偏离检测是在道路检测的基础上, 不仅给出道路信息, 还要给出车辆偏离道路中心的信息。 4.道路识别与跟踪 道路识别与跟踪系统建立在道路模型、运动学模型和动力学模型的基础上, 系统不仅要给出道路参数, 还要给出车辆相对于道路的位置信息和运动信息。 二.非结构化道路图像理解 结构化：高速公路、城市道路 非结构化：越野环境、乡村道路 非结构化环境理解更具挑战性： 非结构化环境地形分类 基于颜色特征的地形分类 基于纹理特征的地形分类 颜色纹理特征融合 主动学习 1.基于颜色特征的地形分类 Manduchi提出一种方法，采用大量且多样化的特征数据来训练，以消除光照所产生的影响。使用高斯混合模型进行分类。 Buluswar等人提出使用多变量决策树来学习不同的地形所占据的RGB颜色空间区域。 随后，Manduchi又提出了一种仅用一个典型光源下的地形图像来训练模型的方法。使用典型光源下的每一类颜色统计的知识来预测在新场景下的光照类型。 已有人证明，错误分类不能仅仅依靠颜色特征而被去掉。 2.基于纹理特征的地形分类 Castano提出了一种基于纹理特征的地形分类方法，使用基于多尺度-多方向的Gabor滤波器组提取的特征 另外，还有其它的基于纹理特征的道路图像理解算法： 基于小波变换 基于离散余弦变换(DCT) 基于灰度共生矩阵 3.颜色纹理特征融合 由于使用单一的特征对地形分类无法取得令人满意的结果。Shi等人提出颜色特征与纹理特征结合的方法。 3.1 特征提取 颜色特征：采用YIQ颜色空间 计算每个特征窗口的颜色平均值及协方差，得到9维颜色特征向量 将颜色特征与纹理特征合并，可得到22维的颜色纹理特征。 一种分类策略 选定任一特征窗口，与周围邻域的8个特征窗口可以形成一个3×3的小矩形。 设每个小窗口属于最大类条件似然概率这一类。 对于9个特征窗口，选择属于类别k (k=1,2,..T)的个数Jk及类条件似然概率Pj，j=1,2,…, Jk。 其中J1 + J2 +…+ Jk =9。 然后计算属于各个类别k的平均类条件概率 除了GMM+颜色纹理特征算法，还有SVM+颜色纹理特征等方法，也能得到较为满意的结果。 4. 面向可通行区域分类的主动学习算法 有监督学习的方法，需要大量有标记的样本作为训练样本。 然而在实际情况中，对大量样本进行人工标记是极其繁琐和费时的。 Dima首先将主动学习用于可通行区域分类中，筛选最有“兴趣”的10~20幅图像交由专家标记。 L是空集，U包含所有未标记样本 KSVMactive: 为了解决样本数不平衡问题，采用SVM超平面位置校正算法，根据上次迭代中专家标记与当前SVM分类结果的差值，调整本次迭代过程中超平面的位置。 具有最小得分值的样本被认为最有代表性的样本，选出交由专家标记。 使用三种不同方法的平均分类正确率 三.总结与展望 目前基于单目视觉的道路图像在移动机器人、自动导引车、辅助驾驶、智能交通系统等领域得到了广泛的应用, 但仍有很多的问题需要解决, 今后的研究可以在以下3个方面深入。 进一步提高系统的实时性、可靠性、鲁棒性 从适合结构化道路转向适合各种自然道路 多传感器信息融合 谢谢 在超平面附近，聚集大量相似程度很高的样本，SVMactive的方法是：按距离超平面最近的样本交由专家标记的方法，效率较低。 KSVMactive采用非监督的K均值聚类选取最有代表性的样本。 聚类中选择的样本需要满足三个条件： 1.样本与SVM超平面距离要