智能网联汽车概论 课件 2-3 了解智能网联汽车视觉传感器的类型及应用.pptx

智能网联汽车概论能力模块二掌握环境感知技术在智能网联汽车上的应用方式任务三了解智能网联汽车视觉传感器的类型及应用

新授Newteaching1

目录一、视觉传感器的基本信息三、视觉传感器的应用二、视觉传感器的类型

一、视觉传感器的基本信息（一）视觉传感器的定义视觉传感器是指通过对摄像头拍摄到的图像进行图像处理，对目标进行检测，并输出数据和判断结果的传感器。视觉传感器在智能网联汽车或无人驾驶汽车上的应用是以摄像头（机）出现，并搭载先进的人工智能算法，便于目标检测和图像处理。

一、视觉传感器的基本信息视觉传感器主要由光源、镜头、图像传感器、模数转换器、图像处理器、图像存储器等组成。其主要功能是获取足够的机器视觉系统要处理的原始图像。（二）视觉传感器的结构

一、视觉传感器的基本信息（三）视觉传感器的功能功能功能内容可通行空间检测可通行空间表示无人驾驶汽车可以正常行驶的区域。车道线识别车道线是视觉传感器能够感知的基本信息，拥有车道线识别功能，即可实现高速公路的车道保持功能。障碍物检测障碍物种类很多，如汽车、行人、自行车、动物、建筑物等，有了障碍物信息，无人驾驶汽车即可完成车道内的跟车行驶。交通标志和地面标志识别交通标志和地面标志可作为道路特征与高精度地图匹配后辅助定位，也可以基于这些感知结果进行地图的更新。交通信号灯识别交通信号灯状态的感知能力对于城区行驶的无人驾驶十分重要。

一、视觉传感器的基本信息（四）视觉传感器的特点特点主要内容信息量极为丰富视觉图像的信息量极为丰富，尤其是彩色图像，不仅包含有视野内物体的距离信息，而且还有该物体的颜色、纹理、深度和形状等信息。实时获取场景信息在视野范围内可同时实现道路检测、车辆检测、行人检测、交通标志检测、交通信号灯检测等，信息获取面积大。当多辆智能网联汽车同时工作时，不会出现互相干扰的现象。多任务检测视觉信息获取的是实时的场景图像，提供的信息不依赖于先验知识，比如GPS导航依赖地图信息，有较强的适应环境的能力。应用领域广泛视觉传感器应用广泛，在智能网联汽车中可以前视、后视、侧视、内视、环视等。以前视为例，夜视、车道偏离预警、碰撞预警、交通标示识别等要求视觉系统在各种天气、路况条件下，能够清晰识别车道线、车辆、障碍物、交通标志等。

二、视觉传感器的类型1.定义单目视觉传感器模块只包含一个摄像机和一个镜头。由于很多图像算法的研究都是基于单目视觉传感器开发的，因此相对于其他类别的车载视觉传感器，单目车载视觉传感器的算法成熟度更高。如图所示为单目车载视觉传感器。（一）单目摄像头单目车载视觉传感器2.特点单目传感器具有成本低、帧速率高、信息丰富、检测距离远等优点，但易受光照、气候等环境影响，缺乏目标距离等深度信息，对目标速度的测量也不够可靠。

二、视觉传感器的类型（一）单目摄像头优点主要内容结构简单、成本低相比于双目视觉测距系统，单目视觉系统结构更加简单，成本更低。距离运算量小基于单目视觉的距离计算过程中运算量更小，具有更高的精度与鲁棒性。有效视场更大单目视觉有效视场更大；不依赖多个相机，定位空间还可以通过多个相机进行扩展而不发生视场范围损失。3.优点4.缺点缺点主要内容视野完全取决于镜头焦距短的镜头，视野广，但缺失远处的信息。反之亦然。单目测距的精度较低摄像机的成像图是透视图，即越远的物体成像越小。近处的物体，需要用几百甚至上千个像素点描述；而处于远处的同一物体，可能只需要几个像素点即可描述出来。这种特性会导致越远的地方，一个像素点代表的距离越大。因此，对于单目视觉来说，物体越远，测距的精度越低。

二、视觉传感器的类型1.定义双目视觉(BinocularVision)是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。与人类使用双眼观察物体的远近类似，双目视觉测量传感器是通过两台摄像机同时摄取一个光条的图像，再通过两幅图像的匹配，得到光条上所有像素点分别在两幅图像中的位置，利用视差，即可计算该点的位置以及深度信息双目视觉传感器模块包含两个摄像机和两个镜头。相近的两个摄像机拍摄物体时，会得到同一物体在相机成像平面的像素偏移量。有了像素偏移量、相机焦距和两个车载视觉传感器的实际距离这些信息，根据数学换算即可得到物体的距离。（二）双目摄像头

二、视觉传感器的类型（二）双目摄像头2.特点特点主要内容成本相对高成本比单目视觉传感器高，但尚处于可接受范围内，并且与激光雷达等方案相比成本较低；没有识别率的限制没有识别率的限制，因为从原理上无需先进行识别再进行测算，而是对所有障碍物直接进行测量；精度比单目高精度比单目高，直接利用视差计算距离。双目视觉传感器的一个难点在于计算量非常大，对计算单元的性能要求非常高。双目视觉传感器的双目摄像头兼具了图像和激光测量的特点，也有自身