AI芯片应用开发实践：深度学习算法与芯片设计 课件 第七章 FPGA类AI芯片的开发实践 .pptx

第7章FPGA类AI芯片的开发实践

开发工具VitisAI概述VitisAI的常用参数化IP核VitisAI开发工具包目录CONTENTSVitisAI应用开发示例:应用Zynq监测道路裂缝本章习题

VitisAI概述片硬件平台分类01

开发工具VitisAI概述VitisAI平台是为AMD器件、板卡及Alveo数据中心加速卡提供的综合AI推断开发平台。它支持来自PyTorch、TensorFlow、TensorFlow2和Caffe的现成深度学习模型，提供可重复训练的优化模型，实现更快的执行速度和更高的性能。平台还包括VitisAI量化器、优化器、编译器、分析器及库等开发工具，提升AI芯片开发效率，加速AI算法在FPGA平台的落地应用，VitisAI结构图如图所示。为主流框架和必威体育精装版模型提供支持，帮助其完成各种深度学习任务，如CNN、RNN和NLP等。功能强大的量化器和优化工具可提高优化模型的精度和处理效率。便捷的编译流程和高层次API可实现自定义模型的极速部署。可配置的高效率ＤＰＵ内核能够充分满足边缘及云端对吞吐量、时延和电源的不同需求。

VitisAI的常用参数化IP核02

DPUZDX8G概述DPUCZDX8G是针对ZynqUltraScale+MPSoc优化的深度学习处理单元（DPU），是卷积神经网络专用的可配置计算引擎，其并行度可按目标器件和应用需求选择。它属于高层次微码计算引擎，具备高效指令集，能支持多种卷积神经网络推断。DPUCZDX8GIP可集成到ZynqUltraScale+MPSoc的可编程逻辑（PL）中，直接与处理器系统（PS）相连。用户可配置DPU的多个参数，以优化PL资源并自定义功能。其架构中，APU为应用处理单元，PE为处理引擎，DPU为深度学习处理单元。

DPUZDX8G概述DPUCZDX8G启动时从片外存储器加载由VitisAI编译器生成的指令，编译器会进行层级融合等优化操作。片上存储器用于缓存输入激活、中间特征映射和输出数据，以提高吞吐量和效率，同时尽量复用数据以降低外部存储器带宽需求。计算引擎采用深度流水线设计，处理引擎（PE）充分利用Xilinx器件中的高精度组件，如乘法器、加法器和累加器。

DPUZDX8G概述DPUCZDX8G启动时从片外存储器加载由VitisAI编译器生成的指令，编译器会进行层级融合等优化操作。片上存储器用于缓存输入激活、中间特征映射和输出数据，以提高吞吐量和效率，同时尽量复用数据以降低外部存储器带宽需求。计算引擎采用深度流水线设计，处理引擎（PE）充分利用Xilinx器件中的高精度组件，如乘法器、加法器和累加器。

高性能通用CNN处理引擎DPUCVDX8GDPUCVDX8G是一种针对VersalAICore系列优化的高性能通用CNN处理引擎。与传统FPGA、CPU和GPU相比，Versal器件具有卓越的性能功耗比。DPUCVDX8G由AI引擎和PL电路组成。用户可以通过配置参数对AI引擎和PL资源进行优化，并自定义功能。

高吞吐量通用CNN处理引擎DPUCVDX8HDPUCVDX8H是针对VersalAICore系列优化的高性能、高吞吐量CNN处理引擎，包含AI引擎和PL电路。它利用Versal器件的高性能AI引擎阵列、高带宽NoC、DDR/LPDDR控制器等优势，相比传统FPGA、CPU和GPU，性能功耗比出色。用户可通过配置参数优化资源，满足数据中心等应用需求。其架构中，Conv计算单元在AI引擎上实现，其他单元如转换控制、加载、保存和MISC（池化和元素处理）通过PL实现，所有处理引擎共享权重加载单元和调度器。系统内存（如DRAM）存储网络指令、输入图像、输出结果和中间数据，启动后DPU从系统内存获取指令控制操作。片上存储器缓冲权重、偏置和中间数据，特征映射库私有，权重缓冲区共享，通过数据复用减少内存带宽需求，处理引擎充分利用AI引擎计算能力以实现高性能。

包含最优化的深度学习模型的VitisAIModelZooVitisAIModelZoo包含优化后的深度学习模型，可在Xilinx平台上加速深度学习推断，涵盖ADAS/AD、视频监控、机器人和数据中心等应用。其文件命名格式为：F_M_(D)H_W(P)_C_V，其中：F：训练框架（如tf为TensorFlow1.x，tf2为TensorFlow2.x，pt为PyTorch）。M：模型名称。D：训练数据集（私有数据集时无此字段）。H：输入张量高度。W：输入张量宽度。P：修剪比率（模型未修剪时无此字段）。C：每张图像的计算成本（单位为GGOPs）。V：VitisAI版本。例