网站大量收购独家精品文档,联系QQ:2885784924

基于深度学习的 3D 雷达视觉融合目标检测.docxVIP

基于深度学习的 3D 雷达视觉融合目标检测.docx

  1. 1、本文档共12页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多

摘要

本文演示了如何利用雷达点云和相机图像的深度学习来实现三维目标检测。用人工标记的边界框训练一个深度卷积神经网络来检测汽车。并将研究结果与在激光雷达点云和摄像机图像上训练的深度神经网络进行了比较。采用平均精度(AP)来评价性能。雷达和摄像头的AP分别为0.45、0.48和0.61,而激光雷达和摄像头的雷达和摄像头的AP分别为0.33、0.35和0.46。与雷达数据相比,该网络的性能明显优于激光雷达数据。目前,利用雷达数据和摄像机图像进行的目标检测性能的主要限制是数据集,到目前为止数据集还相当小。然而,研究结果表明,深度学习通常是一种适合于雷达数据目标检测的方法。

1绪论

自动驾驶车辆的主要感知任务之一是检测其周围环境中的物体。功能安全使得它需要有多个互补和冗余的传感器来同时执行目标检测。目前用于先进的驾驶员辅助系统的最常用的传感器是照相机、激光雷达和雷达。

对于相机图像,深度学习已经成为二维目标检测的必威体育精装版方法。结果表明,它是一种适用于激光雷达点云中三维目标检测的方法。然而,研究才刚刚开始探索将深度学习技术应用于雷达数据的可能性。最近的出版物使用深度神经网络完成以下任务:距离-多普勒图像的分类,雷达网格地图中目标的分类,雷达点云的语义分割。

当使用卷积神经网络对范围-多普勒图像进行分类时,它不能区分一幅图像中的多个对象,也不能定位对象。将网格图中的每个单元划分,这意味着他们将雷达网格划分为汽车和无车类。这提供了有关对象位置的信息,但不提供有关网格单元格所属的对象实例的信息。因此,推断目标数量和目标大小都是不可能的。

图1对测试数据的三维检测结果的示例。这些点的颜色代表了其大小。被检测到的盒子的颜色表示被检测到的分数

许多现有的基于激光雷达和照相机的三维目标检测算法。由于一些雷达传感器,如激光雷达传感器,输出3D点云(即使点云有完全不同的属性),人们可以对雷达和摄像机数据应用类似的网络。

同时,雷达-摄像机融合是可取的,因为传感器具有不同的特性,因此可以相互补充。

直到最近,雷达传感器的输出过于稀疏,无法在原始数据水平上应用深度学习方法进行雷达-相机融合。据作者所知,目前雷达摄像机与基于深度学习的卷积神经网络(CNNs)的融合的文献较少。

本文利用深度神经网络对雷达点云和摄像机图像进行三维目标检测。使用的网络相似。我们评估了网络的性能,并比较了雷达相机和激光雷达相机的性能。

2方法

训练CNN基于点云和RGB图像作为输入,在三维空间中检测汽车。每个点云和图像都属于一个同步的“帧”,该数据集包含在德国南部记录的公共道路。训练在数据集的一个分割上执行,评估在另一个分割上执行,这样用于训练的数据就不会用于评估。训练和评估一次雷达点云和摄像机图像,一次激光雷达点云和摄像机图像。

图2测试数据集上雷达和相机的精确召回曲线

图3网络的架构的方案。BEV图像由6个高度图和一个密度图组成。探测结果被编码为4个角和两个距离地面的高度偏移量

2.1网络

将由N个点(x、y、z、Magnitude)和一个RGB图像组成的点云作为网络的输入,然后根据输入输出在三维空间中具有位置和维数的边界框预测。本文所使用的网络结构与[11]中描述的网络相似(见图3)。然而,与本文相比,在特征提取器中没有使用特征金字塔网络(FPN)。由于在本文中,网络只被训练来检测具有相对较大对象的类车,因此FPN就不那么相关了。

每一帧的点云用于生成具有六个高度图和一个密度图的鸟瞰视图(BEV)图像。不使用雷达数据中的多普勒信息。然后利用三维区域建议网络(基于网络VGG的适应)基于雷达点云的摄像机图像和BEV图像生成建议。

这些建议用于预测通过四个角和两个高度(从地面到底部和顶部)编码的盒子。使用这种相当不直观的14维表示,因为它已经被证明可以产生最好的结果。此外,一个角度被预测来确定四个角之间的哪一边属于被检测对象的前部。

2.2数据集

为了训练和评估,使用[13]一个包含455帧同步摄像机、激光雷达和雷达数据的数据集。每个雷达点云包含大约1000-10000个点,使用Astyx6455HiRes传感器获得。每个点包含x、y、z位置、大小和多普勒信息(径向速度)。这些相机图像的大小为2048×618像素,是用点灰黑蝇相机拍摄的。激光雷达点云是用速差VLP-16获得的。

2.3训练?

这些数据用4:1的比例被分成一个训练集和一个测试集。对于深度学习应用程序,这个数据集非常小。因此,在训练过程中使用了两种数据增强方法。第一种方法是水平翻转图像、点云和地面真相盒。第二种方法是用基于主成分分析的方法向相机图像中添加噪声,该方法被称为花式主成分分析,由克里热夫斯基在他著名的AlexNet论文中介绍。

该网络经过22000次迭代的训练,学习速率为0.0001,小批量大

文档评论(0)

外卖人-小何 + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档