2024汽车AI大模型TOP10分析报告.pdfVIP

预训练语言模型

预训练微调

从海量数据中自动学习知识

ØBig-dataDriven，模型基于大规模语料训练而成；

将模型在大规模无标注数据上进将模型在下游各种自然语言处理任ØMulti-tasksAdaptive，支持多种任务，包括自然

行自监督训练得到预训练模型务上的小规模有标注数据进行微调语言生成NLG和自然语言理解NLU类的任务；

得到适配模型

ØFew-shot(Zero-shot)，在少甚至无标注样本的

条件下支持推理（自监督学习）。

AI大模型就是预训练语言模型

通过在大规模宽泛的数据上进行训练后能适应一系列下游任务的模型

预训练语⾔模型“预训练+微调”技术范式

⼤规模⽆标注不同特定任务测试数据

⽂本数据有标注训练数据

模型预训练模型微调最终模型

Ø2017年，Google提出Transformer框架在机器翻译中取得显著进步，其分布式学习和强大编码能力受到广泛关注。

Ø2018年Google和OpenAI基于Transformer提出了预训练语言模型BERT和GPT，显著提高了NLP任务的性能，并展示出广泛的通用性。

众多预训练模型相继涌现，OpenAI以GPT2、GPT-3、ChatGPT等系列模型为代表，持续引领大模型时代的浪潮

大模型发展历程

跨模态模型

计

感算AlexNetCANResNetViTDALLE2GPT-4V

知机(图灵奖得主(Gioodfellow.(MSR.(Google)(OpenAI)(OpenAI)

图灵奖得主

视Hinton)Bengio)引用183222)

觉

201220132014201520162017201820192020202220222023

自

然Word2VecAttentionTransformer(BERTGPT-2GPT-3FoundationPaLMChatGPT

认语(Google.(图灵奖得主Google.(Google)(OpenAI)(OpenAI)Model(Google)(OpenAI)

知言引用78550)Bengio)引用91332)GPTERNIE(百度)CPM(智源)(Stanford)

处