基于摄像头与毫米波雷达数据融合的车辆目标检测研究.pdfVIP

摘要

摘要

近年来我国的汽车保有量逐年增加，道路交通环境也变得愈加复杂。智能汽

车正逐渐成为研究解决交通安全问题的热点，其中环境感知，作为智能汽车的关

键组成部分，是无人驾驶系统进行后续决策和规划的重要基石。随着深度学习与

传感器硬件技术的发展，车辆检测在环境感知已经获取了长足进步，但面对日益

复杂的行车环境，单一传感器都有各自的检测缺陷，仅依靠某一传感器不能满足

车辆的环境感知需求。因此，本文提出一种基于视觉与毫米波雷达融合的车辆检

测方法，通过采用深度学习以及多传感器数据融合，以提高交通环境下车辆检测

的准确性。具体研究内容如下：

（1）基于深度学习的视觉目标检测。提出一种改进车辆检测算法，考虑目标

检测速度和精度平衡，对YOLOv5s算法进行改进：融入CA注意力机制(Coordinate

Attention)模块，以强化检测网络在具有密集对象的场景的目标辨识能力；引入

Focal-EIOULoss代替原始损失函数，以获得更加精确的框定位以及损失函数更快

收敛。引入全维度动态卷积(Omni-dimensionalDynamicConvolution,ODConv)，输

入融合多个卷积核心，考虑多维关注，以提高对车辆特征的提取能力。测试结果

表明，改进后的算法平均精度均值(meanaverageprecision,mAP)提高了1.5%，有

效改善了车辆目标检测能力。

2

（）基于毫米波雷达的目标检测。按照协议解析雷达信号，对通过设置距离

和速度等条件进行初步筛选，去除了其中的无效目标信号，获得有效检测目标信

息。利用生命周期法对初步筛选的雷达目标进行进一步管理，以获取雷达目标检

测信息。通过毫米波雷达实车数据采集，对算法进行有效性验证，完成对毫米波

雷达点云数据有效目标信息的获取。

（3）摄像头与毫米波雷达信息融合。依据像素坐标系、雷达坐标系和世界坐

标系的关系，进行摄像头和毫米波雷达的联合标定，将毫米波雷达的检测目标投

影到像素坐标系上。根据两传感器的采样频率，设计时间同步算法，完成了时间

融合。设计了一种基于交并比的检测目标分段融合方式，进行雷达目标和视觉目

标的关联，输出融合后的检测信息。

（4）实验平台搭建及实验验证。设计搭建视觉与毫米波雷达融合系统的实验

软硬件框架，在白天与夜晚分别进行实车实验。实验结果表明，相较于单个传感

器方案和其他融合方案，本文融合算法可以充分发挥不同传感器的检测优势，能

够获得更全面和准确的信息。

I

盐城工学院硕士学位论文

关键词：环境感知，深度学习，毫米波雷达，信息融合，目标检测

II

ABSTRACT

ABSTRACT

Inrecentyears,thenumberofvehiclesinChinahasbeenincreasingannually,

leadingtoamorecomplexroadtrafficenvironment.Intelligentvehiclesarebeing

researchedasanadvancedtechnologytoaddresstrafficsafetyissues.Environment

perceptionisacrucialcomponentofintelligentvehicles,servingasaprerequisitefor

subsequentdecision-makingandplanningbyunmannedsystems.Theprogressof

vehicledetectioninenvironment