AI芯片应用开发实践：深度学习算法与芯片设计 课件 第6、7章 模型的推理框架——ONNX Runtime； FPGA类AI芯片的开发实践 .pptx

第3章模型的推理框架——ONNXRuntime

ONNXRuntime概述ONNXRuntime推理流程ONNX格式转换工具目录CONTENTSONNXRuntime示例本章小结

ONNXRuntime概述01

ONNXRuntime是由微软开发和维护的深度学习模型推理引擎，设计用于提供高性能、跨平台的解决方案，适用于各种操作系统和硬件平台。它支持ONNX（OpenNeuralNetworkExchange）格式，这是一个开放标准，允许在不同深度学习框架之间共享模型。ONNXRuntime针对不同硬件平台进行优化，利用硬件加速（如GPU），实现快速模型推理。ONNXRuntime的简介

ONNXRuntime的特点支持多种操作系统，包括Windows、Linux和macOS。

支持多种硬件平台，如CPU、GPU和辅助加速器。跨平台性根据ONNX格式设计，支持使用不同深度学习框架训练的模型。

支持多种深度学习框架，包括PyTorch、TensorFlow、Caffe2等。高兼容性提供模型优化、量化和多线程执行等高级功能，进一步提高性能和资源利用率。高性能

ONNXRuntime推理流程02

安装环境安装scikit-learn使用命令pipinstallscikit-learn安装scikit-learn库，这是一个流行的机器学习库，包括各种用于机器学习和数据分析的工具。安装ONNX及相关依赖安装ONNX库及其相关依赖，以支持深度学习模型的加载和保存。

安装scikit-learn到ONNX模型的转换器，以便将scikit-learn模型导出为ONNX格式。安装ONNXRuntime安装ONNXRuntime，这是一个用于在不同硬件上执行ONNX模型的运行时引擎。

可选择安装CPU版本或GPU版本，具体取决于硬件支持。

训练模型5输出：输出显示训练好的逻辑回归模型的一些参数，包括max_iter参数。2数据拆分：使用train_test_split函数将数据集分成训练集和测试集。4训练模型：使用fit方法来训练逻辑回归模型。1导入数据：数据集包括三个不同种类的鸢尾花的测量数据，X包含特征，Y包含目标类别。3选择分类器：选择逻辑回归分类器，并设置max_iter参数以确保模型在训练时收敛。使用scikit-learn提供的Iris数据集进行模型训练。

将模型转换导出为ONNX格式ONNX是一种用于表示深度学习模型的开放格式，它定义了一组和环境、平台均无关的标准格式。将机器学习模型转换并导出为ONNX格式通常涉及使用相应的工具和库来执行此操作。一般包括以下步骤：选择支持ONNX的框架、安装ONNX工具和使用框架提供的工具将模型导出为ONNX格式。以PyTorch为例，首先确保已经安装了PyTorch和ONNX工具，接下来进行以下步骤：1）导入所需要的库，2）加载已经训练好的PyTorch模型，3）准备输入数据，4）到处模型为ONNX。010203

使用ONNXRuntime加载运行模型使用ONNXRuntime加载和运行ONNX模型，首先加载ONNX模型，创建ONNXRuntime的推理会话。

ONNX格式转换工具03

使用ONNXRuntime加载运行模型MXNet是一款强大的深度学习框架，旨在支持广泛的机器学习模型开发和训练，尤其是深度神经网络。MXNet到ONNX输出模块（mx2onnx）的重大更新，支持动态输入形状，使用户能够更灵活地处理各种输入数据。并提供广泛的运算符和模型覆盖，从而增强深度学习模型的兼容性和性能。这些改进使MXNet成为开发者和研究人员的首选工具，用于构建、训练和部署复杂的神经网络，应用于计算机视觉、自然语言处理，以及各种其他领域的人工智能应用。接下来是在MXNet中应用mx2onnx输出程序，特别是在预训练模型上的应用，借助MXNet的强大功能，将深度学习模型转换为ONNX格式，以满足不同平台和框架的需求。前提条件：确保已经安装了MXNet和ONNX的Python库。从MXNet模型库下载模型：在使用MXNet将深度学习模型转换为ONNX之前，需下载预训练的模型和与之相关的标签文件。MXNet到ONNX导出器（mx2onnx）API：MXNet提供了mx2onnx输出模块，它允许将MXNet模型导出为ONNX格式。 APIexport_model可以通过以下方式接受MXNet模型，以便在不同场景中灵活应用。（1）使用MXNet导出JSON和Params文件（2）使用MXNetSymbol和Params对象（3）使用mx2onnx导出模型（4）动态输入形状（5）验证导出的ONNX模型（6）简化导出的ONNX模型

TensorFlow转换成ON