网站大量收购闲置独家精品文档,联系QQ:2885784924

计算机行业豆包大模型更新至1.5-pro,更真实、更懂你.docx

计算机行业豆包大模型更新至1.5-pro,更真实、更懂你.docx

  1. 1、本文档共17页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

内容目录

内容目录

Doubao-1.5-pro基础能力全面提升 4

高效MoE模型,平衡模型性能和推理成本 5

多模态能力全面提升 9

视觉多模态:性能进一步提升,从容应对更复杂场景 9

语音多模态:通过语音语义联合建模,打破传统“ASR+LLM+TTS”级联限制 10

“豆包版o1”推出,实现RLscaling 13

豆包情感语音功能落地移动端,图灵测试“终结者” 14

豆包电话升级情感语音功能,高拟人化应用空间广阔 14

豆包情绪理解和情感表达优于GPT-4o,“去AI味”效果显著 16

投资建议 17

风险提示 18

图表目录

图表目录

图1.Doubao-1.5-pro在多个基准上的测评结果 4

图2.Doubao-1.5-pro输入输出价格 4

图3.Doubao-Dense和Doubao-MoE的训练loss图 5

图4.利用二次多项式拟合,获得不同最小计算预算下激活参数最优数量的ScalingLaw 6

图5.Llama3.1、Doubao-MoE和Doubao-Dense的Performance对比图 7

图6.不同阶段的计算和访存特征 8

图7.Doubao-1.5-pro在多个视觉基准上的测评结果 9

图8.DoubaoViT在多种视觉分类任务中的表现 10

图9.豆包支持任意分辨率和极端长宽比图像识别以及复杂指令遵循能力 10

图10.从语音识别到语义分析到语音生成的原理图 11

图11.ECSS由多源知识、基于异构图的情感上下文编码器和情感对话语音合成器三个部分组成 12

图12.近期国内更新的情感语音大模型 12

图13.Doubao-1.5-pro-AS1-Preview在AIME上的评测结果 13

图14.豆包推理能力的初步泛化 13

图15.豆包App电话页面 14

图16.豆包融入生活成为智能助手 15

图17.豆包模仿经典文艺作品 15

图18.豆包演唱歌曲 15

图19.豆包做情感/心理疏导 15

图20.豆包在角色扮演中切换自如 16

图21.豆包快速切换喜怒哀乐等情绪表达 16

图22.豆包根据复杂要求编故事 16

图23.豆包实时联网查询播报信息 16

图24.豆包实时语音大模型与GPT-4o的满意度对比 17

1 Doubao-1.5-pro基础能力全面提升

Doubao-1.5-pro采用MoE(混合专家)架构,通过训练—推理一体化设计,保证模型性能的同时尽量降低推理成本。2025年1月22日,豆包底层大模型更新至Doubao-1.5-pro(包括文本、视觉、实时语音、推理等多个专家模型),其仅用较小的激活参数,即可超过一流超大稠密预训练模型的性能,并在多个评测基准上取得优异成绩,在知识、编码、中文方面形成明显优势。

图1.Doubao-1.5-pro在多个基准上的测评结果

数据来源:豆包大模型团队,

严控推理成本,版本升级价格不变。Doubao-1.5-pro-32k的千tokens输入单价为0.0008元,千tokens输出单价为0.002元,与Doubao-pro版本保持一致。其价格大约为GPT-4o-0806批量版本(千tokens输入单价0.00125美元)的10%,豆包在保障性能的同时,具备显著价格优势,加速国内企业接入国产大模型API服务。

图2.Doubao-1.5-pro输入输出价格

数据来源:火山引擎,

高效MoE模型,平衡模型性能和推理成本

从训练和推理效率的角度出发,Doubao-1.5-pro使用稀疏MoE架构。在预训练阶段,仅用较小参数激活的MoE模型,性能即可超过Llama3.1-405B等超大稠密预训练模型。团队通过对稀疏度ScalingLaw的研究,确定了性能和效率比较平衡的稀疏比例,并根据MoEScalingLaw确定了小参数量激活的模型即可达到世界一流模型的性能。

在预训练模型基础上,算法团队还设计了一系列模型参数动态调整算法。可以基于具体应用对模型性能的需求,从模型深度、宽度、MoE专家数、激活专家数、隐藏token推理等不同维度,对模型参数进行扩增和缩小,达到模型能力和推理成本的最优平衡。

图3.Doubao-Dense和Doubao-MoE的训练loss图

数据来源:豆包大模型团队,

研究MoE模型的ScalingLaw,以便在预训练前确定最优参数设置。通常密集型模型的训练计算资源预算使用公式C

您可能关注的文档

文档评论(0)

535600147 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

版权声明书
用户编号:6010104234000003

1亿VIP精品文档

相关文档