全球大模型与算力悄然迭代中.docx

请仔细阅读本报告末页声明

证券研究报告|行业周报

2024年08月18日

通信

全球大模型与算力悄然迭代中

本周海外市场特别是科技行业显示出明显的反弹迹象，以巨头英伟达为例，其股价已显著回升，超过3万亿市值，自低点以来涨幅超过20%。这一现象反映出市场对英伟达因B卡延迟事件所受负面影响的担忧正在减少。此外，光模块行业受到B卡延迟事件的影响较小，其根本原因在于供需缺口较大，光模块的交付相对紧张，特别是上游光芯片的持续紧缺，导致供应链难以快速匹配采购节奏，叠加光模块可以提前采购或囤货以应对需求的释放，因此光模块行业整体受B卡延迟影响有限。

从宏观角度来看，AI发展前景乐观。近期降息和一些重要经济数据（如CPI\PPI\非农数据等）的发布成为市场关注的焦点，目前市场对美国经济实现“软着陆”的信心较强，各CSP巨头积极落地算力投资，AI领域的长期发展前景仍然保持乐观态度。

从中观角度来看，垂类大模型迎来新一轮算力需求。海外AI算力市场发展节奏依旧快速，垂类应用大模型正在悄然迎来迭代，从LLMs的“微调”加速跃迁至“预训练”，对算力的需求再上新高度：

预训练与微调：

预训练（Pre-training）是指在一个大型的数据集上训练一个模型，通常不针对特定的下游任务，适用于建立一个强大的语言模型基础用于如文本生成、翻译、问答等，预训练在大规模数据集上进行，通常需要大量的计算资源，数据量通常在数百GB甚至TB级别，模型的参数量往往非常庞大（如数亿至数千亿参数）。

微调（Fine-tuning）是在预训练模型的基础上，针对特定的下游任务进行额外的训练，适用于需要高精度处理特定任务或特定领域的场景，如医学文本分析、法律文书处理、客户服务对话等，相比预训练，微调的计算需求相对较低。

垂类大模型的微调困境：

理论与现实的差距较大，垂类行业的专业性和门槛较高-理论上垂类大模型仅需在开源模型的基础上进行微调，但实际应用效果欠佳，主要还是因为领域知识具备较高的复杂性（垂类领域独特的术语和概念在通用模型的预训练数据中并不常见）、数据质量与覆盖度（微调数据集不够全面或质量不高）、任务复杂性（如医药或金融行业，不仅需要广泛的知识，还涉及到复杂的推理、逻辑以及高精度的预测能力，通用大模型难以具备）等。

前期处于算力资源考量，率先尝试微调，忽略效果-预训练需要消耗大量的算力资源和时间，成本通常较高，因此很多团队会优先尝试微调，实际应用后如果微调后发现模型性能未能达到业务需求，团队会投入更多资源进行预训练。

定制化需求无法满足-部分垂类行业需要高度定制化的模型，在通用模型基础上的微调无法实现。

增持（维持

增持（维持）

行业走势

通信沪深300

10% 2% -6%-14%-22%-30%

2023-082023-122024-042024-08

作者

分析师宋嘉吉

执业证书编号：S0680519010002

邮箱：songjiaji@

分析师黄瀚

执业证书编号：S0680519050002

邮箱：huanghan@

分析师石瑜捷

执业证书编号：S0680523070001

邮箱：shiyujie@

相关研究

1、《通信：光景气度的延伸—连接器件、DCI与国内需求》2024-08-14

2、《通信：DCI：AI算力基建的由“内”而“外”》2024-08-11

3、《通信：AI东风已至，比特币矿场开启第二增长曲线》2024-08-06

P.2请仔细阅读本报告末页声明

2024年08月18日

边际变化已至，微调加速转向预训练，海外算力需求迎来新增长点：

垂类模型微调后问题较多：Genhealth的研究表明，大型语言模型在医疗领域并非始终是最佳工具，并可被该公司预训练的大型医学模型替代。主要原因有大型语言模型不如大型医学模型在医疗领域推理的更具体、容易产生幻觉、不具备医疗保健领域实体所需的所有数据、没有接受过实际医疗方面的培训等。这些问题可能会导致误诊或给出错误的治疗方案，从而出现医疗事故。

垂类行业参与者纷纷重金投资各自大模型，底层参数量庞大，专业性较通用大模型更强：据AIBusiness报道，医疗保健公司Hippocratic于2024年3月融资5300万美元用于进一步开发，其专注于医疗保健底层模型架构Polaris的大小为1万亿个参数，与OpenAI的