二值神经网络优化研究及FPGA设计.pdf

目录

摘要I

AbstractIII

第一章绪论1

1.1研究背景及意义1

1.2相关研究现状3

1.2.1二值神经网络研究现状3

1.2.2知识迁移研究现状4

1.2.3基于FPGA的BNN硬件加速研究现状6

1.3研究内容和创新点7

1.4论文组织结构8

第二章基于并行卷积的二值神经网络优化设计10

2.1引言10

2.2基础卷积神经网络选择10

2.3并行BNN优化设计11

2.4全二进制输入层设计13

2.5实验设置及结果分析15

2.5.1数据集和实验设置15

2.5.2实验结果与分析15

2.6本章小结19

第三章基于知识迁移的二值神经网络优化设计20

3.1引言20

3.2全精度模型预训练阶段21

3.3迁移阶段21

3.3.1知识蒸馏传递到二值神经网络21

3.3.2对比学习优化二值神经网络24

3.4实验过程及结果分析25

3.4.1实验基本设置25

3.4.2实验过程26

3.4.3实验结果分析27

3.5本章小结30

第四章二值神经网络的FPGA加速器设计31

4.1引言31

4.2构建BNN加速器的基本流程31

4.3卷积网络并行性分析32

4.4基于FPGA的BNN加速器设计34

4.4.1BNN加速器整体架构34

4.4.2二值卷积模块设计35

4.4.3池化层模块设计37

4.4.4流水线设计38

4.5实验结果与分析39

4.5.1实验环境39

4.5.2网络系统搭建39

4.5.3实验结果分析与比较41

4.5.4逻辑资源占用分析42

4.5.5不同计算平台性能对比43

4.6本章小结43

第五章总结与展望44

5.1全文总结44

5.2未来工作展望45

参考文献46

攻读硕士学位期间的主要成果50

致谢51

摘要

近年来，以卷积神经网络（ConvolutionalNeuralNetwork，CNN）为代表的深度学习

模型，已经成为人工智能领域的关键技术，为图像识别、语音识别、自然语言处理等各种

应用提供了强大的支持。然而，随着CNN的发展，其网络结构变得越来越复杂。CNN的

高准确性是以大数据量和高计算复杂度为代价的，导致在硬件部署上变得越来越困难，阻

碍了CNN在实际应用领域中的落地。因此，神经网络模型压缩问题备受关注。其中，神

经网络量化技术为神经网络部署到移动边缘设备提供了新的思路。二值神经网络（Binary

NeuralNetwork，BNN）通过将权重和激活值量化为二进制形式，减少了模型参数和计算

量，使得模型更适合于资源受限的边缘移动设备。然而，与全精度网络相比，BNN可能会

产生严重的模型准确率损失，特征信息表达和泛化能力较差。此外，如何将BNN高效部

署到FPGA等移动边缘设备上，进行软硬件协同设计，降低其计算资源和能耗，还有很大

的探索空间。因此，本文重点关注BNN优化研究及