ChatGPT 训练及多场景推理成本测算.pdf

行业观点  2023 年3 月1 日，OpenAI 宣布开发者可通过A PI 将ChatGPT 和Wisper 模型集成到他们的应用程序和产品中。 本次ChatGPT API 接入的模型名为GPT-3.5-turbo，只需0.2 美分/千 Tokens 。本文尝试测算训练和不同推理场 景之下的实际成本；未来随着模型压缩的持续发展，推理成本可能进一步降低，也有望大幅推动生成式模型在各 个场景的大规模商用。我们的成本估算思路是：计算AI 模型在进行训练与推理时所需的浮点运算次数，与AI 算 力集群的平均算力 (以每秒浮点运算次数计) 做比，以此估算AI 模型的训练成本与推理成本。  在通用大模型训练方面，经测算，使用云计算时 ChatGPT 的训练成本约为 170 万美元，若自建AI 算力中心进 行模型训练，训练成本有望降至约51 万美元；在大模型推理方面，使用云计算时的ChatGPT 每处理 1,000Tokens 信息需花费约0.177 美分，自建AI 算力中心有望将成本降至0.053 美分。  不同应用场景中 AI 模型面临的任务复杂度有所不同，我们考虑模型缓存命中率、计算集群闲置率、模型压缩等 因素，综合估算各典型场景下模型的推理成本：1 ）有哪些信誉好的足球投注网站引擎场景中，以新版Bing 为例，完成一次有哪些信誉好的足球投注网站的成本约 为1.73 美分；2 ）办公软件融合ChatGPT 后可支持文字生成、文字修改等功能，完成一次用户需求的成本约为 1.70 美分；3 ）AI 客服作为对话场景应用，有望率先实现 B 端落地。经测算，AI 客服场景解决一次用户需求的 成本约为0.08 美分。  未来随着模型压缩技术的持续发展，推理成本可能进一步降低，也有望大幅推动生成式模型在各个场景的大规模 商用。 投资逻辑  我们认为有海外场景的公司有可能率先与GPT-3.5-turbo 进行对接，建议关注福昕软件、万兴科技等海外营收占 比较高的应用公司。 风险提示 海外基础软硬件使用受限；应用落地不及预期；行业竞争加剧风险 敬请参阅最后一页特别声明 1 行业专题研究报告 内容目录 1. AI 模型训练成本估算 3 2. 通用AI 模型推理成本估算4 3. 多应用场景下ChatGPT 推理成本估算 4 3.1 有哪些信誉好的足球投注网站引擎场景5 3.2 办公软件场景6 3.3 AI 客服场景6 4. 投资建议 7 5. 风险提示 7 图表目录 图表1： AI 模型训练成本估算 3 图表2： AI 模型训练所需浮点运算次数计算与模型参数规模正相关 3 图表3： 前沿AI 模型的有效算力比率 3 图表4 ： 考虑有效算力比率后的训练所需浮点运算次数计算4 图表5： AI 模型推理成本估算4 图表6： AI 模型推理所需浮点运算次数计算 4 图表7： 具体应用场景中AI 模型完成一次任务所需成本4 图表8： 新版 Bing 有哪些信誉好的足球投注网站引擎的运作方式 5 图表9： Bing 有哪些信誉好的足球投注网站引擎场景任务的所需Tokens 5 图表10： 办公软件场景任务的所需Tokens 6 图表11： AI 客服场景任务的所需Tokens 6 敬请参阅最后一页特别声明 2 行业专题研究报告 2023 年3 月1 日，OpenAI 宣布开发者可通过API 将ChatGPT 和Wisper 模型集成到他 们的应用程序和产品中。本次ChatGPT API 接入的模型