LLM-端侧应用的评测方法及其实践.pdf

LLM-端侧应用的评测方法及其实践

李亮｜OPPO

01LLM应用介绍

目LLM基础模型效果评测

C

02

O

N

T

ELLM端侧应用效果评测实践

N

03

录T

S

04现状与未来

LLM应用介绍

LLM：LargeLanguageModel，大语言模型

定义（学界中的一种）：是指包含数千亿（或更多）参数的

Transformer语言模型（文献1）

从应用角度：区别于传统单任务算法模型，具备一定参数规模、

能处理较复杂多任务、具备较强泛化能力的语言模型

大语言模型发展历程（From文献1）ChatGPT取得1亿用户时间

文献1：ASurveyofLargeLanguageModels

LLM应用介绍

涌现能力（TheEmergentAbilities）：

较小模型不存在，但较大模型存在的能力

三个典型的涌现能力：

•复杂推理

没有全部训练数据显著优于小模型

•知识推理

大模型不需要额外的知识来源ChatGPT

•分布外鲁棒性

非同分布模型精调泛化性能优于小模型ChatGenerativePre-trainedTransformer

很多

产品形态：技术形态：关键技术：架构基础：

聊天机器人生成式预训练Transformer

LLM应用介绍

AI手机定义：

算力高效利用能力

真实世界感知能力

自学习能力

创作能力

AI手机特征：

用户定义的开放服务生态

随心和专属的智慧OS

支持生成式AI的智能终端硬件平台

IDC+OPPO《AI手机白皮书》中对手机全栈革新的定义

LLM应用介绍

AI手机智能化服务能力测评标准泰尔实验室的OPPOAI手机认证

LLM应用介绍

典型LLM应用

定向创作

文案生成

百科问答

以上功能均已上线小布助手，欢迎体验

LLM应用介绍

典型LLM应用

中文特性

意图识别

情感问答

以上功能均已上线小布助手，欢迎体验

01LLM应用介绍

目LLM基础模型效果评测

C

02

O

N

T

ELLM端侧应用效果评测实践