大模型应用选择和算力评估.docx

大模型模型选择及需求算力评估

1、选型参考依据

2022年9月，DeepMind（Chinchilla论文）中提出Hoffmanscalinglaws：表明每个参数需要大约20个文本token进行训练。比如一个7B的模型需要140Btoken，若每个token使用int32(四字节)进行编码的话，就是560GB的数据。依据该原则，评估中华文物领域专业大模型应选取的模型及需要的训练数据。

通过查阅相关文献资料及一些大模型基础测试报告，大模型参数量一般在54B以上时会体现出模型优势，但10B以下模型在性能损失较小的情况下部署及运行资源拥有较大优势。因此，中国文化领域专业大模型同样应构建10B下和10B上2个参数规模的模型。

2、模型选择

通过查阅HuggingFace中各类大模型，目前开源大模型多以8B、13B、70B参数量较多，综合考虑，选取8B和70B两种规格。以下针对这两种规则选择相应模型，并计算所需的训练数据量。

（1）8B模型的选择

截至2024年4月18日，全球最先进的开源大模型为META的Llama3，该模型共开源8B和70B两个参数版本。对应中文处理，一些国内开源模型如智谱AI的GLM-3由于扩充了词汇表，对中文的处理更为准确，可作为备选方案。因此，对于8B参数模型，需求的训练数据量为：

8B模型训练数据量=8*20*10^9*4/1024/1024/1024=596(GB)。

（2）70B模型的选择

70B模型选择LLAMA-3-70B模型，需求的训练数据量为：

8B模型训练数据量=70*20*10^9*4/1024/1024/1024=5216(GB)。

3、算力估算

模型训练时的浮点运算数量（TrainingFLOPS）与参数量（N）和数据量（D）存在关联，遵循的关联关系为TrainingFLOPS=6ND，因此，8B和70B模型对应的总运算量为：

8B模型计算总量=6*8*10^9*8*20*10^9=7.68*10^21(FLOPS)

70B模型计算总量=6*70*10^9*70*20*10^9=5.88*10^23(FLOPS)

假设在90天内完成训练，则8B和70B分别需要的算力为：

8B模型需求算力=7.68*10^21(FLOPS)/（24*3600*90）≈0.99PFLOPS

70B模型需求算力=5.88*10^23/（24*3600*90）≈76PFLOPS

大模型常采用半精度浮点运算以保障运算效率与精度，因此8B、70B模型训练90天需要的算力分别为0.99P@FP16和76P@FP16。

4、GPU数量需求

如采用NvidiaA100GPU（该芯片FP32峰值算力19.5TFLOPS，FP16峰值算力312TFLOPS）计算，GPU利用率0.8，则需要的GPU数量分别为：

8B模型GPU数量=7.68*10^21*（40/113）/(312*10^12*24*3600*90*0.8)≈2（个）。

70B模型GPU数量=5.88*10^23*（40/113）/(312*10^12*24*3600*90*0.8)≈107（个）。