- 1、本文档共27页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
j百度智能云
大模型场景下智算平
台的设计与优化实践
肖松
2024.06.14
引言j百度智能云
不同时期对智算平台的需求
201
8
客户A我资源比较少,几十卡的规模,如何提升卡的利用率?
客户B我的模型跑起来耗时长,能加速吗?
客户C我想跑大模型,需要多少资源?网络如何构建?多长时间能跑完?
客户D国产卡怎么用?能否与NV卡一起使用?
202
4
2
j百度智能云
目录
01大模型时代,智算平台新特点4
02智算平台需解决的问题6
03大模型场景技术实践8
04对于智算平台发展的未来思考25
j百度智能云
01大模型时代,智算平台新特
点
小模型vs.大模型
大模型时代,智算平台新特j百度智能云
点
小模型vs.大模型
ResNet50(小模型)GPT-4(大模型)工程问题
158秒$1555天$2150万增强:耗时长凸显大模型训推加速需求
新增:成本高带来稳定性需求,减少资源闲
训练时长训练成训练时长训练成本
置
本
参数25M(0.025B)参数1800B增强:参数爆炸突破显存墙,多机多卡成为常
vs.
您可能关注的文档
最近下载
- 小学研究课题立项申报:基于小学生高阶思维发展的课堂微项目活动设计研究.docx
- 网站安全等级保护--应急预案.docx
- 输送带发展前景分析.pptx
- IPC-6018c,6018cs,6017,6016,6015,6013d,6012e,ds,da 英文资料分享.pdf
- 高中数学公式(经典).doc VIP
- 顶管施工测量方案.doc
- 2024年度医院中医肛肠外科科带教计划课件.pptx
- 全国青少年劳动技能与智能设计大赛赛题与评价标准.PDF
- 2021-2022学年福建省宁德市校际联盟八年级(上)第一次月考英语试卷(附答案详解).docx VIP
- 2023年(最全版)二级建造师考试真题及参考答案.docx
动点策划通过提供各行各业经典策划案例,策划思路,行业必威体育精装版动态,旨在做好你的助手,为你正在谋划的事情提供框架思路或创作灵感。
文档评论(0)