智能网联汽车视觉传感器的应用课件.pptx

延迟符智能网联汽车视觉传感器的应用

学习目标02了解视觉传感器的定义与分类01延迟符掌握视觉传感器的特点及功能03掌握视觉传感器的环境感知流程了解视觉传感器的应用03

延迟符视觉传感器的定义与分类一延迟符

视觉传感器的定义与分类-定义视觉传感器主要由光源、镜头、图像传感器、模数转换器、图像处理器、图像存储器等组成。

视觉传感器的定义与分类-定义单车感知系统中，摄像头的使用量基本上都在5个以上。比如说特斯拉8个、小鹏P7为14个、威马W6是7个、而背靠阿里巴巴与上汽的智己汽车将之增加到15个。

视觉传感器的定义与分类-定义特斯拉前视摄像头：特斯拉前视摄像头直接就选择三目摄像头。三目摄像头安装于挡风玻璃后，由3个组成：前视宽视野、主视野、窄视野摄像头

视觉传感器的定义与分类-定义宽视野：大角度鱼眼镜头能够拍摄到交通信号灯、行驶路径上的障碍物和距离较近的物体。最大监测距离60米。主视野：覆盖大部分交通场景，最大监测距离150米。窄视野：能够清晰地拍摄到远距离物体，适用于高速行驶的交通场景。最大监测距离250米。

视觉传感器的定义与分类-分类双目摄像头通过对两幅图像视差的计算，直接对前方景物（图像所拍摄到的范围）进行距离测量三目摄像头三目摄像头感知范围更大，但同时标定三个摄像头，工作量较大。单目摄像头用于探测车辆前方环境优点是成本低廉，能够识别具体障碍物的种类，且识别准确环视摄像头一般至少要包括4个摄像头，实现360度环境感知。

延迟符视觉传感器的特点与功能二延迟符

视觉传感器的特点与功能-特点1243视觉图像的信息量极为丰富可同时实现道路、车辆、行人等检测视觉信息获取的是实时的场景图像视觉传感器应用广泛

视觉传感器的特点与功能-特点车道线识别车道线识别，即可实现高速公路的车道保持功能。障碍物检测汽车、行人、自行车、动物、建筑物等等标志的识别交通标志和地面标志可作为道路特征与高精度地图做匹配后辅助定位。可通信空间检测人驾驶汽车可以正常行驶的区域交通信号灯识别通信号灯状态的感知能力

延迟符视觉传感器的环境感知流程三延迟符

视觉传感器的环境感知流程图像采集主要是通过摄像头采集图像，如果是模拟信号，要把模拟信号转换为数字信号，并把数字图像以一定格式表现出来、根据具体研究对象和应用场合，选择性价比高的摄像头。图像预处理包含的内容较多，有图像压缩、图像增强与复原、图像分割等，要根据具体实际情况进行选择。为了完成图像中目标的识别，要在图像分割的基础上，提取需要的特征，并将这些特征计算、测量、分类，以便于计算机根据特征值进行图像分类和识别。图像模式识别的方法很多，从图像模式识别提取的特征对象来看，图像识别方法可分为基于形状特征的识别技术、基于色彩特征的识别技术以及基于纹理特征的识别技术等等。通过环境感知系统识别的信息，传输到车辆其他控制系统或者传输到车辆周围的其他车辆，完成相应的控制功能。

镜头：聚集光线，把景物投射到成像介质表面。滤色片：人眼看到的景物是可见光波段，而图像传感器可辨识的光波段多大于人眼，滤色片将多余的光波段过滤掉。图像COMS传感芯片：将镜头投射到表面的图像（光信号）转换为电信号。线路板基板：将图像传感器的电信号传输到后端视觉传感器的环境感知流程

第一，神经网络有了多个通道输出。MaskR-CNN使用类似FasterR-CNN的框架，FasterR-CNN的输出是物体的boundingbox和类别，而MaskR-CNN则多了一个通道，用来预测物体的语义分割图。第二，在语义分割中使用BinaryMask。第三，MaskR-CNN基本的pipeline是先检测物体矩形框，然后在矩形框中做逐像素分割。提出了RoiAlign用来替换FasterR-CNN中的RoiPooling。RoiAlign使用线性插值来寻找更精准的对应区域。视觉传感器的环境感知流程

图像分割技术视觉传感器的环境感知流程

延迟符视觉传感器的应用四延迟符

视觉传感器的应用单车感知系统中，摄像头的使用量基本上都在5个以上。比如说特斯拉8个、小鹏P7为14个、威马W6是7个、而背靠阿里巴巴与上汽的智己汽车将之增加到15个。

视觉传感器的应用其摄像头系统由1个3目前视摄像头（同特斯拉类似），4个环视摄像头，车顶两个前向侧视摄像头，1个后视，以及1个车内DMS摄像头

视觉传感器的应用威马W6：威马发布了其大致能实现L3级自动驾驶的，W6，全车有7个摄像头。其中两个是高清智能摄像头，最大探测距离超过150米，据网上信息来看，应该是一个前视一个后视。此外还有4个高清环视摄像头（100万像素，20m），以及一个DMS摄像头。

视觉传感器的应用特斯拉全车共配备了8个摄像头，一个毫米波雷达和12个超声波雷达，监测外部环境，向