基于多模态融合的三维目标检测方法研究.pdfVIP

基于多模态融合的三维目标检测方法研究

摘要

随着新能源车和人工智能的发展，汽车智能化已经成为大趋势，其最主要的发展

方向便是车辆的自动驾驶。在自动驾驶系统中，感知模块是极其重要的部分，是整个

自动驾驶系统的基础，对周围环境不准确的感知可能会带来极为严重的后果。近些年，

基于多模态融合的三维目标检测受到了广泛的关注，多传感器融合的方案能够弥补单

一传感器的局限性，通过不同模态数据的高效融合，能够帮助感知系统灵活捕捉到潜

在的目标。但是基于多模态融合的方法也有其局限性，在融合不同类别的数据信息时，

往往存在融合策略粗糙的问题，无法发挥出多种传感器互补的优势，导致其性能甚至

无法超越基于单模态的检测算法。因此，本文针对当前基于相机和激光雷达两种传感

器的多模态融合三维目标检测方法存在的问题，主要从以下几个方面展开研究：

（1）针对基于虚拟点构造的统一特征空间进行多模态融合方法中，虚拟点的深度

信息质量不高的问题，本文设计了图像深度感知预测模块，通过在图像深度预测过程

中引入深度监督损失，提高深度信息的生成质量，同时整合相机参数到深度估计网络

中，以提高多相机系统中深度预测的鲁棒性，此外通过扩大感受野的方法提出了深度

校准模块，进一步提高深度预测的准确性，从而提升虚拟点的生成质量。

（2）针对虚拟点与原始点云融合策略过于粗糙，导致无法发挥出多模态融合方法

潜力的问题，本文设计了动态门控模态融合策略，在虚拟点和真实点云构造的统一的

体素特征空间中，基于LiDAR体素作为门控条件，以更加细化可控的方式，去选择相

应的相机体素，然后实现多模态的特征聚合，从而提高所提算法的检测性能。

（3）针对基于多模态融合的感知系统中，传感器之间未充分校准以及检测场景目

标比较密集的情况，本文采用了基于Transformer的可变形跨模态特征聚合策略，通过

点云分支生成的初始查询框作为Query，在图像中使用可变形交叉注意力机制融合相关

的图像特征，从而实现多模态特征的融合。另外，针对检测场景中目标密集的情况，

提出查询框对比学习策略，通过引入对比学习损失，提高算法在密集场景下的鲁棒性。

最后，在nuScenes数据集上对本文所设计的检测算法进行训练并测试，对所提算

法定量定性分析，并与现有算法对比，实验结果验证本文所提算法检测性能高，鲁棒

性强。

关键词：三维目标检测；多模态融合；深度学习；深度估计；特征聚合；

基于多模态融合的三维目标检测方法研究

Abstract

Withthedevelopmentofnewenergyvehiclesandartificialintelligence,automobile

intelligencehasbecomeamajortrend,anditsmaindevelopmentdirectionisautomatic

drivingofvehicles.Intheautonomousdrivingsystem,theperceptionmoduleisanextremely

importantpartandisthebasisoftheentireautonomousdrivingsystem.Inaccurateperception

ofthesurroundingenvironmentmayhaveextremelyseriousconsequences.Inrecentyears,

three-dimensionaltargetdetectionbasedonmulti-modalfusionhasreceivedwidespread

attention.Multi-sensorfusionsolutionscanmakeupforthelimitationsofasinglesensor.

Throughtheeff