基于DSP+FPGA的目标检测系统.pdf

基于DSP+FPGA的目标检测系统

摘要

随着神经网络的不断发展，基于卷积神经网络的目标检测在医学影像、高速制导、

安防监控等高分辨率与高帧率等领域应用越来越广泛，算法庞大的计算量与复杂度对目

标检测算法在工程应用中的实时性提出了更高的要求。针对上述问题，本研究采用

MobileNet-SSD轻量级目标检测算法，将MobileNet-SSD算法的网络前向推理过程部署在

FPGA上，同时，在DSP上提出双核控制与多核并行主从拓扑架构实现图像预处理和检测

算法后处理流程，实现了算法与嵌入式硬件平台高度整合。

首先，设计了嵌入式目标检测系统的硬件架构和软件任务分配，以确保系统功能的

完整实现。在设计过程中，本研究综合考虑了算法的复杂度与硬件平台的资源限制，从

而在系统层面上进行了合理的硬件选型。此外，本文还简要回顾了目标检测算法的发展

历程，为进一步的算法优化和工程化落地部署奠定了坚实的基础。

其次，为了更加适配于部署在嵌入式系统，在保证实时性的前提下需要更加的使模

型轻量化，本文分析了SSD算法的结构和部署局限，采用MobileNet-SSD轻量化模型作为

本文嵌入式部署的核心算法。该算法通过将部分标准卷积替换为深度可分离卷积，显著

降低了模型的计算复杂度，并引入分辨率因子和宽度因子以缩减网络宽度，从而进一步

提升模型的实时性能，为了更精准地调整不同尺寸的先验框至目标边界，在预测边界框

的解码过程中加入了偏置项增大反向传播过程的梯度信息，以增强网络的学习效果。通

过网络训练和实验验证，证实算法的有效性，将得到的模型训练参数与先验框信息分别

存储到FPGA与多核DSP的DDR3内存中，为后续的系统级功能实现提供了指导思想。

然后，通过对网络模型的剖析，本文详细拆解了嵌入式部署的工作流程。主体任务

分为三部分：FPGA负责前向推理加速器设计实现；DSP负责预处理及后处理的设计与实

现；UDP数据通信链路的建立。为了有效的将前向推理流程整合至FPGA，设计了一种

多单元协同处理加速器架构用于加速网络的前向推理流程。针对目标检测算法的完整实

现，考虑到DSP端的功能需求，提出了一种双核调度加多核并行的组合架构，确保在多

核架构稳定运行的前提下引入了轻量化核间通信机制与多核自检保护单元。为了确保两

个系统板间的通信顺畅，分别在DSP与FPGA各自的任务划分方案中设计UDP模块，以便

进行板间数据传输。

最后，对FPGA端不同单元的时序、资源占比、功耗，DSP端的时间指标、内部DDR3

性能，以及系统功能实验与外场拍摄实验进行综合分析。通过实验分析可知本文设计的

哈尔滨工程大学硕士学位论文

系统可以完成多分类目标的检测，FPGA端的各单元均可以正常运行，功耗为4.983W，

多核DSP架构中，采用6核的处理时间比单核处理快了6倍，在进行测试集的测试时，系

统的延时为66ms左右，加入摄像头进行图像采集后，系统的延时为80ms左右，帧率分别

达到15.12FPS与12.5FPS左右。最终表明本文设计的异构协处理系统具有较好的实时性

与较低的功耗，为面向嵌入式平台部署目标检测算法提供了一种系统级的解决方案。

关键词：目标检测，神经网络，嵌入式部署，FPGA加速器，多核DSP

基于DSP+FPGA的目标检测系统

ABSTRACT

Withthecontinuousdevelopmentofneuralnetworks,objectdetectionbasedonconvolutional

neuralnetworksisincreasinglybeingappliedinfieldsrequiringhighresolutionandhighframerates,

suchasmedicalimaging,high-speedguidance,andsecuritymonitoring.Thesubstantialcomputational

demandsandcomplexityofthesealgorithmsposegreaterchallengesforther