腾讯大模型专家学习笔记.pdf

腾讯AI大模型专家学习笔记

摘要：

1、腾讯AI大模型六个BG都有参与，其中TEG在算法上更general，其他BG更偏行业。

2、混元大模型万亿参数水平，相比ChatGPT性能更强，但可能比GPT4比有所不足。混

元大模型目前偏自然语言，而GPT4支持多模态。

3、推理过程边缘侧和训练侧是两套系统，是分离的。

4、目前来看通过翻译扩充中文语料提升不会很大。

5、大模型之后会接入微信、游戏、短视频、广告、TOB端等业务。

6、腾讯目前部门向上申请的资源中浪潮占比偏多。

7、目前数据均采用联邦学习计算方式进行加密，不会导致原始数据泄露。

8、精调不需要更新全部网络，不需要更新后面几层，故算力和数据要求较小。

第一部分：QA

Q：腾讯在AI大模型方向的进展情况？混元大模型？

A：腾讯的大模型情况与百度、阿里不同，我们分到了每个BG，我们有6个BG（TEG技

术中台、CSIG面向B端、微信、游戏、PCG做内容、CDG偏广告金融），其中六个BG都

有做AI，都非常重视不管从投入还是老板重视程度来看，我认为AI在技术侧是腾讯number

one的地位。。TEG类似中台，AIlab在TEG下面。混元大模型由腾讯唯一17级科学家张

正友老师负责，也是AIlab的负责人。6个BG都有人在参与混元，共同推进，算法上TEG

偏general，其他BG偏行业。大模型腾讯在几年前也做过，混元也有上一代产品，偏检索

式。马上五月要发的是偏深层次的，对标ChatGPT。目前混元还在测试研发中。

Q：腾讯AI大模型在什么样的水平？

A：腾讯AI大模型是万亿（参数）的，虽然还未发布，但我们自己认为比ChatGPT要强，

但比GPT4可能不足，GPT是支持多模态，而我们暂时偏自然语言。

Q：混元大模型的算法是腾讯原创？还是基于什么技术路线？

A：算法上对标GPT，但也有不一样的地方，比如Fine-tune、RewardModel、PPO，但其

实这三步都是大家需要做的事情，主要是需要自己找一些新的数据，再做数据预处理。

Q：在算力层面，腾讯云已用于AI训练的算力在什么水平？后续投入计划？

A：我们投入了将近万张卡，我们在算力上还是有一定储备。我们也在内部评测华为昇腾芯

片，发现有些场景下性能还可以。

Q：混元的训练数据以什么类型为主，数据来源？

A：数据来源为公开中文数据集、自己内部数据。数据需要做标注等预处理工作。

Q：能否介绍一下您正在研发的产品具体情况？未来商业化场景？

A：我们主要面向B端、G端客户，后续会重点推行业的中小模型，主要有几种模式：1）

对于超大客户，可能会选择从头训练一个大模型，但这种情况比较少，我们有能力去帮助客

户从0到1重新训练大模型。2）基于客户的私有数据，对我们基础大模型做定制化fine-tune。3）

大多数客户还是会基于其行业属性，我们一起联合训练模型。

Q：腾讯混元大模型在哪几个方面的性能强于ChatGPT？

A：从参数上，我们1万亿，ChatGPT是1750亿。

Q：腾讯的AI服务器用哪家较多？

A：浪潮。

Q：腾讯在AI医疗方面有没有与企业合作做AI医药研发训练，或者AI在线诊断？AI医疗

数据有专门数据处理公司吗？

A：我跟的领域没有做这方面的事。我知道有一个单独的团队在做DrugAI的事情，但实际做

到什么程度我不清楚。也有团队在做医保卡相关的项目。数据处理公司也不太清楚。

Q：整个训练过程都是有监督条件下的大模型训练吗？

A：前面模型可以做自监督，后面的要在模型上做数据标注。算法原理是先有一个一般意义

上的模型，再在模型上做数据标注、排序等。

Q：在混元大模型上做行业小模型，小模型属于推理部分吗？

A：大多数客户只要推理，但费用和投入肯定不一样。

Q：在推理过程中，数据传输和算力只有大模型需要还是推理端也需要？

A：取决于客户部署在哪里。如果部署