基于深度学习和双目视觉的自然环境下番茄识别与定位研究.pdf

摘要

果实的识别与定位是实现番茄自动化采摘的关键技术，在自然环境中，由于光

照环境复杂、果实相互重叠以及枝叶遮挡等因素的影响，番茄的识别与定位仍然是

一项具有挑战性的任务。本文以自然环境下番茄为研究对象，开展了基于深度学习

和双目视觉技术番茄识别与定位的研究，主要研究内容如下：

（1）针对传统基于图像处理的目标检测算法在自然环境中性能较差的问题，研

究实现了FasterR-CNN、SSD和YOLOv4三种深度学习番茄识别算法，使用常用的

模型评价指标在自制的番茄数据集上进行了算法对比实验，结果表明，YOLOv4平

均精度均值mAP为97.01%，检测速度每秒27.53帧，模型体积为244.42MB，算法在

检测精度和检测速度方面均优于另外两种算法，综合性能最佳。但YOLOv4的计算

量和参数量较多，无法应用在计算资源和存储资源有限的设备上，还需进一步研究。

（2）针对YOLOv4计算量和参数量较多的问题，本文对YOLOv4进行了改进，

提出了一种轻量化番茄识别算法YOLOv4-Light。使用MobileNetV2作为主干特征提

取网络，减少模型的计算量和参数量，将网络中部分标准卷积替换为深度可分离卷

积，进一步对模型轻量化，利用多头自注意力机制对网络卷积块进行改进，加强网

络对全局特征的关注，提高检测精度。在番茄数据集上进行了不同改进方法对比实

验，结果表明，YOLOv4-Light的mAP为96.55%，检测速度为每秒49.17帧，模型体

积为38.10MB。相比于YOLOv4，检测速度提升了78%，模型体积缩小了84%，mAP

仅降低了0.46%。YOLOv4-Light在略微降低检测精度的同时，极大的提高了检测速

度和缩减了模型体积，能够满足采摘机器人对番茄识别的准确性和轻量化的要求。

（3）研究了基于双目立体视觉番茄定位方法。利用张正友标定法对双目相机进

行了标定，获取了相机的内部参数、畸变系数和外部参数。通过相机相关参数对左、

右两幅图像进行畸变校正和立体校正，利用SGBM算法对左、右图像进行立体匹配

获得视差图。结合YOLOv4-Light获取了番茄预测框中心点的二维像素坐标，通过双

目立体视觉定位原理，实现了番茄中心点的三维定位。在果园中进行了定位实验，

结果表明，平均定位误差为7.06mm，误差率为0.88%，定位速度为每秒41.67帧，能

够满足采摘机器人对番茄定位的要求。

关键词：深度学习；目标检测；双目视觉；YOLOv4

I

目录

1绪论1

1.1研究背景及意义1

1.2国内外研究现状2

1.2.1果实识别方法研究现状2

1.2.2果实定位方法研究现状4

1.3研究内容5

1.4章节安排6

2深度学习和双目视觉相理论7

2.1深度学习7

2.1.1深度学习概念7

2.1.2卷积神经网络7

2.2双目立体视觉系统11

2.2.1相机成像模型11

2.2.2双目立体视觉定位原理15

2.3本章小结16

3基于深度学习番茄识别方法对比研究17

3.1FasterR-CNN17

3.1.1FasterR-CNN网络结构17

3.1.2FasterR-CNN损失函数18

3.2SSD19

3.2.1SSD网络结构20

3.2.2SSD损失函数21

3.3YOLOv421

3.3.1YOLOv4网络结构22

3.3.2YOLOv4损失函数25

3.4实验与结果分析26

3.4.1数据集构建26

IV

3.4.2实验平台28

3.4.3模型评价指标28

3.4.4模型训练29

3.4.5实验结果及