机器学习的第二阶段：推理.docxVIP

??

?

??

机器学习的第二阶段：推理

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

?

?

我们之前讨论过，训练过程是机器学习的第一阶段，而推理则紧随其后，为机器学习的第二阶段。在训练阶段，算法会生成新模型或把预训练模型重新调整用于特定应用，并帮助模型学习其参数。在推理阶段，会根据学习得到的参数对新数据进行预估和决策。

学习需要大量的时间、计算能力和电力，相反，推理阶段需要较少的处理能力，并且也消耗较少的功率。但是，正如之前部分“解析人工智能：训练”所述，对于物联网设备，中央云中的传统计算方式可能会占用大量资源。处在网络边缘的每个物联网节点都收集大量数据，从而使边缘到云端（以及相反从云端到边缘）的数据传输既昂贵又缓慢。“边缘计算”可以直接执行大多数计算，并且仅在完全必要时才将相关信息传输回云端（反之亦然），从而无需依靠基于云的服务器来进行所有处理。虽然在网络边缘进行计算可以减少数据传输成本和时间，但该模型也具有某些缺点。例如，网络边缘的物联网设备需要大量的处理能力来满足学习和推理需求，这与物联网设备要求的高能效原则背道而驰。这正是AI边缘计算加速器能够解决的问题。

AI加速器

基于软件和硬件的AI加速器都可加快机器学习。硬件加速可以针对训练、推理或两者兼有。在某些情况下，硬件加速器可以降低功耗。而在其他情况下，硬件加速器可以提高处理能力。目前有几种主要类型的芯片或处理器可用于硬件加速，这些包括中央处理器（CPU）、图形处理器（GPU）、现场可编程门阵列（FPGA）、片上系统（SoC）、专用集成电路（ASIC）、视觉处理器（VPC）和神经形态（neuromorphic）集成电路。除了硬件加速器之外，市场上的解决方案还包括基于软件的方式，例如机器学习框架可用于改善AI软件开发和优化系统性能。

CPU和GPU

CPU是AI传统上使用的硬件加速器。尽管CPU一般被设计为通用型器件，但它们通常不足以支持模型生成和推理所需的大量计算。因此，包括ARM（通过DynamIQ产品）和三星（通过Exynos9系列）等公司已经开始创建AI专用芯片。在ARM和三星等公司选择继续使用AI专用CPU的同时，其他公司则正在转向GPU。

GPU起源于视频游戏行业，专为处理海量数据集而构建，非常适合用于机器学习。由于GPU具有比CPU更多的单片处理单元和更高的吞吐量，以及更高的并行处理能力，因此能够显著减少计算时间。此外，GPU的单个处理单元比CPU所使用的多个单元更加小巧，从而使GPU更适合于需要小巧和灵活解决方案的空间受限物联网设备。可提供AI专用GPU的公司包括AMD（RadeonInstinct）、NEC（SX-Aurora）、NVIDIA（DGX）和高通（Adreno）等。

FPGA

尽管CPU和GPU拥有相当大的处理能力，并且对于加速学习和推理非常有效，但它们却需要花费大量时间和能量在内存和处理之间传输数据。由于CPU和GPU的电路密度相当高，因此经常会由于过热而导致系统故障。对于位于远端的物联网设备，高能耗和潜在系统故障是难以接受的缺点，需要找到一种方法可以将某些任务转移到更节能的硬件上，这一点非常必要。

基于可编程逻辑的FPGA是一种能够在生产后由客户或设计人员现场重新配置的一种器件。虽然FPGA通常不如CPU或GPU强大，但通过芯片自身内部计算而不是数据传输，能够为某些计算（如乘法、加法、集分、微分和指数等）提供快速处理。尽管FPGA提供了更大的灵活性，但它往往相当笨重，因此要实现物联网设备的小型化是此类芯片的一大挑战。能够提供面向AI应用芯片的主要公司包括NVIDIA（TensorRT）和Xilinx。此外，微软也正在使用FPGA芯片来加速推理，英特尔目前正在扩展其FPGA产品组合。?

SoC

SoC包含有多个电子器件的组合（微处理器、微控制器、数字信号处理器、片上存储器、硬件加速器等）。由于多个组件集成到单一半导体基底，SoC比微控制器芯片功能更加强大。在智能手机中，SoC可以集成视频、音频和图像处理功能。ARM已经开发了机器学习处理器和对象检测处理器，这些处理器能够在未来集成到SoC中。隶属华为集团的海思（HiSilicon）半导体部已经得到ARM的IP授权，以创建最初用于手机和平板电脑的SoC。此外，HiSilicon正在为华为制造升腾芯片（Ascend）。SoC领域的另一大厂商是Arteris，该公司正在开发一种片上网络互连交换矩阵技术（FlexNoC），许多移动和无线公司都在使用该技术。由于Arteris在知识产权方面占据主导地位，因此对该市场有更宏观的掌握。可能很快会有其他公司在AISoC市场发挥重要作用，这些包括英特尔（通过其Movidius子公司）、恩智浦、瑞萨、东芝、德