AI半导体技术、市场与未来202412.docx

过去两年，英伟达崛起是科技领域的一个经典案例。通过CUDA系统，他们创建了一个使用GPU进行机器学习的开发者生态系统；通过Mellanox，他们成为了数据中心网络的领导者。然后，他们将所有硬件集成到服务器中，提供垂直集成的算力一体机。

凭借这一系列组合性技术优势，英伟达在“AI淘金热”中提供的铲子占据行业核心地位，这导致它成为有史以来最成功的公司之一。随之而来的是，不少挑战者入局以求从英伟达主导的市场分一杯羹。半导体行业的竞争愈加热烈。

在此背景下，AI半导体研究专家AustinLyons与EricFlaningam从AI与GPU行业的背景知识切入，结合当前AI半导体生态系统，通过行业关键数据，对未来发展趋势进行了深入分析。

（本文由OneFlow编译发布，转载请联系授权。原文：

https://www.generativevalue.com/p/the-ai-semiconductor-landscape）

1

AI加速器的背景知识

从一个非常宏观的角度看，所有逻辑半导体都包含以下组成部分：

1.计算核心——执行实际的计算操作。

2.存储器——存储要传递给计算核心的数据。3.缓存——临时存储可快速检索的数据。

4.控制单元——控制并管理其他组件的操作顺序。

传统情况下，CPU是一种通用计算机，设计用于执行任何计算任务，包括复杂的多步流程。如下图所示，CPU具有更多的缓存、更强大的控制单元以及更小的计算核心（即CPU中的算术逻辑单元，ALU）。

另一方面，GPU专为处理大量小型计算任务或并行计算而设计。最初，GPU用于图形处理，需要同时进行大量的小型计算以生成显示内容。这种基础架构非常适合AI的工作负载。英伟达率先通过早期的GPU引入可编程着色器，并推出CUDA，使所有GPU都能成为可编程计算机。

为何GPU如此适合AI？

大多数AI模型的基本单元是神经网络，其结构由多层节点组成。这些节点通过加权处理，尽可能准确地表示训练数据的特性。

当模型完成训练后，可以输入新的数据，模型则会预测输出结果（即推理）。

这种“数据传递”涉及大量的小型计算，主要以矩阵乘法的形式实现：（某一层

的节点与权重）×（另一层的节点与权重）。

矩阵乘法是GPU的强项，因其具备出色的并行处理能力。

（StephenWolfram撰写了一篇详细解析ChatGPT工作原理的文章：

https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/）

2

当今的GPU

GPU的规模不断扩大，计算能力和内存也在持续增强，并且更加专注于适配矩阵乘法等工作负载。

以英伟达的H100为例。它由CUDA和Tensor核心（基本处理器）、处理集群（由多个核心组成）以及高带宽内存组成。H100的设计目标是以尽可能高的数据流量处理尽可能多的计算。

提升性能的目标不仅限于芯片本身，而是聚焦于整个系统的优化。在芯片之外，通过连接GPU构建计算集群（https://www.nvidia.com/en-us/data-center/d