基于深度学习的番茄采摘车作业时成熟番茄目标检测研究.pdfVIP

摘要

手工采摘西红柿的传统农业做法是劳动密集型的，并且对于大规模收获而言

效率低下。为了解决这个问题，本研究通过在农业车辆上安装机械臂和相机等硬件

的方式模拟构建一辆番茄采摘车，进而使用机械采摘代替传统的人工采摘。为了能

够通过相机准确捕捉到采摘车周围的成熟番茄，利用YouLookOnlyOncev7

（YOLOv7）算法进行成熟番茄检测。然而，田间西红柿的相互遮挡或尺寸较小等

原因，会导致目标特征信息缺失，进而影响YOLOv7算法在检测成熟番茄时的准

确性，出现目标误检或漏检的情况。因此，本研究提出一种基于改进YOLOv7的

成熟番茄检测方法，从而提高检测系统对番茄采摘车周围成熟番茄的检测精度。主

要研究内容为：

（1）基于改进YOLOv7算法的成熟番茄目标检测研究。首先，重新设计了一

个名为ReplkDext的新结构，ReplkDext是在主干网的最后一层CBS之前引入的，

以增加网络模型的感受野。其次，为了克服传统神经网络中频繁访问内存导致的

FLOPS低的问题，重新设计了YOLOv7的头部结构。通过使用FasterNet优化头部

中Concat和CBS之间的结构，使模型在运行速度和检测精度之间取得平衡。最

后，为了提高卷积能力，在Head层的最后一个ELANN-2结构之后添加ODConv，

从而提高模型小目标的特征提取能力，获得更多关于西红柿的特征信息。实验表明，

与YOLOv7相比，改进后的模型Tomato-YOLOv7的Map@.5提高了1.3%，且该

模型总体优于其他模型。两种不同算法所消耗时间均为0.01s，而Tomato-YOLOv7

的Map@.5是0.893，YOLOv7的Map@.5是0.880，说明优化后的算法所消耗时

间不变的前提下精度得到了提高。

（2）改进后模型的性能评估研究。模型使用开源数据集VOCtest_06-Nov-2007

测试，验证了该模型具有良好的泛化性。为了更好地评估改进后的Tomato-YOLO

模型在不同环境下的性能，本研究分别在雨天和昏暗环境下进行测试。通过在这些

环境下进行实验，得以更全面地验证了模型的高性能。实验结果表明，经过优化的

Tomato-YOLOv7模型在各种环境下表现出了良好的鲁棒性。

（3）基于深度学习与双目视觉算法融合的番茄检测与定位研究。本研究利用

深度学习模型确定待检测目标的位置，然而由于目标的位置信息缺乏准确性，因此

采用一种深度学习算法结合双目相机测距技术的方法，以图像采集、相机标定、立

体校正和立体匹配等步骤实现对成熟番茄目标的精确检测和定位研究。实验表明，

融合后的算法在1米之内的误差为4mm，满足实际番茄采摘车近距离采摘要求。

改进后的模型Tomato-YOLOv7提升了1.3%的检测精度，从而能够有效解决

在实际农业环境下遮挡番茄的检测效果不佳的问题，并为果园自动化番茄收获提

供理论指导，加快农业自动化的作业效率。本研究的创新研究带动了农业科技水平

的发展。

关键词：番茄采摘车，遮挡番茄，目标检测，改进YOLOv7，双目视觉算法

Abstract

Thetraditionalagriculturalpracticeofhand-pickingtomatoesislabor-intensiveand

inefficientforlarge-scaleharvesting.Tosolvethisproblem,thisstudysimulatedthe

constructionofatomatopickingvehiclebyinstallinghardwaresuchasroboticarmsand

camerasonagriculturevehicle.Themechanicalpickingisusedtoreplacetraditional

manualpicking.Toaccuratelycapturetheripetomatoesaroundtheharvestingvehicle

throughacamera,theYouLookOnlyOnce