基于深度学习的苹果目标识别与定位算法研究.pdfVIP

基于深度学习的苹果目标识别与定位算法研究 基于深度学习的苹果目标识别与定位算法研究 摘 要 苹果是我国种植面积最大、产量最高、经济地位最重要的水果。到目前为止， 苹果采摘仍然以人工采摘为主，苹果在成熟期内采摘量大、人工采摘劳动强度大， 每天采摘量有限，且人工劳动成本高，如果不能尽快采摘将会导致苹果掉落在地， 影响苹果质量。苹果快速自动化采摘可以极大地提高苹果采摘效率，降低人工劳 动成本，苹果目标识别与定位是苹果快速自动化采摘的关键技术之一，对实现苹 果快速自动化采摘具有非常重要的意义。 针对自然环境下苹果采摘机器人的应用需求，结合图像处理技术，提出一种 基于深度学习的苹果目标识别与定位算法。主要研究内容如下： （1）基于苹果目标识别的图像处理方法研究。为了提高苹果目标的识别率， 采集了11080 幅自然环境中的苹果图像。并对RGB、HSI 和Lab 的差别进行了 分析与对比，并选取了最为适合的RGB 颜色空间。另外对图像进行滤波处理， 并对去噪效果进行对比分析。最终利用 LabelImg 软件对处理后的图像进行位置 标定，建立了训练集与测试集。 （2 ）基于MobileNetV 1 网络的苹果目标特征提取研究。通过对卷积神经网 络的流程介绍和对VGG 网络、ResNet 残差网络、MobileNetV1 网络的优缺点分 析，最终选取了具有较高性能，以及计算参数量少的MobileNetV1 网络，来提取 苹果图像的特征，提高苹果目标检测的速度。 （3 ）基于改进的SSD 算法的苹果多目标多尺度识别研究。针对于自然环境 下苹果多目标多尺度识别的问题，依据Faster R-CNN 算法与SSD 算法的对比与 分析，最终选择利用MobileNetV1 、FPN 网络以及不同比例的锚框长宽比对SSD 算法进行改进，从而完成苹果多目标多尺度检测，获取苹果的采摘中心。实验表 明苹果果实的识别AP （Average Precision ）为0.925 ，检测速度为0.072 s/幅。 （4 ）基于苹果采摘中心的三维空间定位研究。利用matlab 软件对不平行双 目相机进行标定实验，获得左右相机的内外参数和畸变系数。并且采用立体矫正 算法，使得左右图像保持在同一水平位置。为了提高立体匹配的精度，运用SIFT 特征点匹配、NCC 匹配函数和RANSAC 算，获取其仿射变换矩阵。通过仿射矩 阵求取左图像中的采摘中心在右图像所对应的坐标。并利用三角形测距原理获得 苹果果实的三维空间坐标。实验结果表明测量距离和实际距离误差在 15 mm 以 内。 III 经实验结果证明文中采用的算法在识别精度和识别效率都有较好表现，为苹 果采摘机器人视觉系统的进一步研究打下了基础。 关键词：苹果识别，深度学习，图像处理，SSD 算法，双目立体视觉 基于深度学习的苹果目标识别与定位算法研究 RESEARCH ON APPLE TARGET RECOGNITION AND LOCATION ALGORITHM BASED ON DEEP LEARNING ABSTRACT In china, apple is the fruit with the largest planting area, the highest yield and the most important economic status. Up to now, apple picking is still dominated by manual picking. During the ripening period, apples has the large amount of picking and the high labor intensity. Moreover the limitation of daily picking and the high labor cos