基于Yolov3算法的视觉检测系统设计与实现.docxVIP

基于Yolov3算法的视觉检测系统设计与实现

作者：何其伟赵宇坤宗兆翔

来源：《数字技术与应用》2020年第08期

????????摘要：针对传统工业产线上的质量检测环节，本文提出了一种基于FPGA控制板卡与物体识别算法的机器视觉检测系统。该系统采用FPGA+GPU并行处理结构作为硬件平台，充分利用FPGA实时性好、可实现复杂控制逻辑等特点完成视觉系统各部件的控制以及数据传输，配合电脑端的GPU完成物体识别算法。实验结果表明，该方案可以满足生产线上的高速要求，并且易于部署，从而实现了深度学习在传统生产线上的落地应用。

????????关键词：缺陷检测;机器视觉;FPGA;深度学习

????????中图分类号：TP391文献标识码：A文章编号：1007-9416（2020）08-0128-04

????????0引言

????????近年来，随着“工业4.0”和“中国制造2025”的提出，工业生产自动化和智能化的发展进程加速前进[1]。将机器视觉应用于工业产线检测环节是智能制造的重要应用场景之一，目前传统的基于图像处理的检测方法是将待检对象的形状、颜色等特征建立模板，利用模板对检测对象进行特征匹配[2]。此种方法带来的问题是，待检对象缺陷种类繁多且大小不一，根据不同特征建立的算法往往只对特定对象起作用，缺乏通用性和灵活性。此外，工业流水线对机器检测速度提出了较高要求。基于上述工业应用的实际需求，本文设计了一套基于深度学习的工业视觉检测系统[3]，该系统利用FPGA平台完成相机、灯光控制、图像传输以及残次品剔除，基于深度学习算法开发缺陷檢测网络模型，代替传统的图像处理技术，形成一套完整的AI工业视觉检测的软硬件系统，并通过终端的UI界面实时向用户展示系统的工作状态。

????????1视觉检测硬件架构

????????机器视觉检测硬件架构示意如图1所示，成像采集，FPGA控制系统，检测算法执行是该硬件架构中需要实现的三大主要模块。

????????1.1成像采集

????????成像单元由工业相机、照明光源构成，负责原始图像数据的采集。采用LED环形光源可以满足大部分的照明条件需求。对于实际流水线的应用场景，检测相机的每秒采集图像个数（即帧率，fps）需要大于生产线的速度，本文方案在检测平台上选择Basler工业相机，除了提供较高帧率，其自带的库函数API还可以通过Python编程直接从以太网接口控制并可接收相机捕获的图像。

????????1.2FPGA控制系统

????????控制模块需要控制视觉光源、工业相机触发以及图像传输等过程，特别地，对于实际工业检测场景下的多工位设置，控制模块还需要完成不同工位间的协同控制功能。考虑到图像数据量及运算量大，控制逻辑的复杂性以及检测的实时性，相应的控制模块，本文选用XilinxFPGA系列Kintexultralscalexcku040。FPGA（FieldProgrammableGateArray）是一种高性能的可编程逻辑器件，可通过编程方式修改其内部逻辑电路，从而实现高速并行的硬件计算[4-5]。FPGA板负责图像的实时采集、存储、显示，以及处理不同工位上灯光与相机的协同工作。这其中，具体的工作包括：

????????（1）图像采集：编写PCIe（快速外围设备互连peripheralcomponentinterconnectexpress）通信模块[6]以及相机控制模块，在计算机编写PCIe通信程序使用写控制字的方式向FPGA发出指令，通过工业相机自带软件设置为外部触发模式，FPGA对其发送脉冲信号激活相机抓拍工作。多工位场景下，FPGA根据产线速度预设节拍，控制不同位置的相机、光源按照定制的逻辑次序工作。

????????（2）预处理：图像采集模块的图像信号，经过网口传递给FPGA进行图像的预处理，经PCIe通讯接口写入上位机系统内存，并由FPGA控制系统时序、数据处理、控制执行单元等任务。由于FPGA实时性高，大量并行单元可使用进行图片预处理，减少了计算机主机系统的大量运算，从而加快了图片读取速率，减小了相机掉帧情况。

????????（3）执行单元：FPGA根据电脑端反馈回来的判定结果（不通过NG或者通过PASS），控制相应的电磁阀输出端口对缺陷产品进行剔除工作。

????????1.3检测算法执行

????????检测模块硬件部分具体由计算机GPU、显示器、编码器等器件构成，分别用来完成缺陷识别、图像的显示、及反馈含有缺陷种类的字节信息至FPGA控制模块。

????????2视觉检测算法模型

????????算法模块采用物体识别算法。物体识别算法的基本原理是：首先对输入图像划分成7×7的网格，对每个网格预测2个边框，然后根据阈值去除可能