一种基于卷积神经网络的360环视系统停车位检测设计.docx

?

?

一种基于卷积神经网络的360环视系统停车位检测设计

?

?

李锦辉钱薛榴诸俊辉

摘??要：针对传统汽车视觉系统所存在的视野有限的缺陷，文章提出了一种基于卷积神经网络的360环视系统停车位检测方法。该系统通过安装在车身四周的4个鱼眼摄像头来获取车身所处环境信息，再对摄像头捕获的图片进行畸变矫正与逆透视变换，由拼接技术生成环视鸟瞰图;在此基础上，设想出一种全新的停车位检测方法，即利用卷积神经网络对环视鸟瞰图进行检测和识别。

关键词：360环视系统;停车位检测;卷积神经网络

1??研究意义及现状

1.1?研究意义

近年来，随着我国汽车总量的上升，路面交通负担不断加重，城市拥堵、交通事故频发的现象也日益严重。与此同时，汽车数量的剧增也使得大众对于停车位、停车场的需求急剧增加。可事实是，城市的空间极为有限，想要提供足够的停车位与停车场显得尤为困难。密集的泊车环境与狭窄的停车位，使得驾驶员不得不面对“停车难”的窘境。传统的汽车视觉系统在泊车时，因视野有限，车后的视野盲区对驾驶人泊车控制的判断有着很大的影响，由此引起的事故与纠纷也层出不穷，其造成的结果有时不仅是经济损失，更有可能是人员的伤亡。为此，本文提出的基于卷积神经网路的360环视系统理论上能够有效减少驾驶员视野盲区，大大降低了驾驶员的泊车难度，对保证交通畅通与安全具有重要意义。

1.2?国内外研究现状

目前，国内外对于自动泊车系统都有一定的研究，而关于停车位的智能检测与识别又是自动泊车系统的一个研究重要方向，其大多数主要是利用传感器进行停车位的检测。例如大连理工大学王海等[1]提出的基于激光雷达传感器的车位检测方法、学者PARK等[2]提出的基于超声波传感器的检测方法以及电子科技大学陈奋等[3]提出的基于视觉传感器的检测方法，目前基于视觉的自动泊车系统研究成为主流。

2??360环视泊车辅助系统

360环视和逆透视变化。在利用鱼眼相机[4]实时采集图片的时候，得到的是一张存在畸变的三维空间图，使得对车位线的识别造成了视觉上的阻碍，所以本团队采用图片处理技术中的逆透视变化[5]将三维空间图片里的信息完整透视到二维平面，从而从视觉上能够完整地分辨出车位的相关信息，以便于后期自动泊车路线的规划。

（1）坐标系。在逆透视变换中将涉及3个坐标系，下面对3个坐标系进行分析：

首先，世界坐标系，通常以竖直向上为Z轴正向，地面任取两垂直方向为X，Y轴，三者两两互相垂直。

其次，相機坐标系，一般以正右方为X轴，正上方为Y轴，视线方向为Z轴负向。

最后，平面坐标系，图像成像的坐标系X-Y。

（2）坐标变换。首先，世界坐标系与相机坐标系间的转化。相机坐标系实际就是世界坐标系绕着原点旋转一定角度后，再平移所得到的坐标系，设相机坐标系中一点为（XG，YG，ZG），世界坐标系中一点为（XW，YW，ZW），则矩阵表示如下：

=R+T（1）

其中，R矩阵为旋转矩阵，T矩阵为平移矩阵：

R=，T=（2）

其次，相机坐标系与平面坐标系的转换。假设以（0，0，-d）为投影点，Z为投影方向，则：

=（3）

（3）理论依据。逆透视变换实在透视变换的基础上提出的，透视变换如下：

（4）

其中，θ为相机沿X轴旋转的一个仰角，h为相机相对于原点的高度，d为投影点距离原点的距离。

在透视变化中会发现，透视变换阵由于满秩而不可逆，说明在将三维图像映射到二维平面时丢失了某些信息，从维度上看就是丢失了一个维度，所以将透视变换阵的第3列全部补充为1，即补充了一个信息使得矩阵可逆，矩阵如下：

（5）

对上述矩阵求逆矩阵，从而得到逆变换矩阵（矩阵如下）：

（6）

补充的信息就是摄像头坐标系下的Z坐标即深度信息。逆透视变换能够去除在采集图像当中的透视效果。图像是由很多像素点形成的像素矩阵，如果要对整个图像进行逆透视变换，计算量太大，所以将实际的车位转化为矩形图形模型，要将整个车位实行逆透视变换，即将整个矩形中的离散点进行逆透视变换。由于是矩形，为了简化计算只需要对4个顶点进行逆透视变换即可。

3??图像拼接

由于360环视图像由4个鱼眼摄像头采集而成，在经过逆透视变换以后会存在部分重叠的情况，所以，采用图像拼接算法中的平均加权融合算法。

加权融合算法[6]就是在平均融合算法的基础上给每一个平均像素点加一个权值，从而使得图像拼接更加顺畅，以达到最佳融合效果。由于本文的拼接位置特殊，因此需要借助欧式距离来确定加权值α，β。图像拼接如图1所示，两张图像重叠部分为ABCD，作CD的平行线AE，以AE为拼接缝，记AE和CD间的距离为d，待融合点到CD的距离为d，则加权值α，β为。

将所采集到的图像通过加权平均融合拼接之后，就得到了360全景环绕图。

4??车位检测与识别

在前文中，利用4个鱼眼摄像头得到了车身的环视