大模型推荐技术及展望PPT（2023）.docx

1958中技术大每

1958

UniversityofScienceandTechnologyofChina

大模型推荐技术及展望

冯福利博士

fengfl@

2023/8

1

1958

1.推荐及LLM简介

2.LLM赋能推荐系统

3.大模型推荐展望

2

推荐方法的本质

o本质：拟合历史用户行为数据，预测未来用户行为

阶段1：在历史数据里学阶段2：预测用户下一个喜欢的物品

?User

?User：行为多样、模式复杂，受众多外界因素影响

?Item：item间众多低频关联，不断出现新item

理解不到位，泛化能力差，推荐不满意

3

大模型新范式

o自然语言处理（NLP）领域的发展：

NLP3.0:深度神经网络模型NLP1.0:字典/词汇表

NLP3.0:深度神经网络模型

2000

2018

2012早期

2012

NLP2.0:统计模型NLP4.0:预训练+微调+

NLP2.0:统计模型

进入大型语言模型（LLM）时代

用简明的语句概括一下新闻的大概内容：“新华社电

用简明的语句概括一

下新闻的大概内容：

“新华社电…”

答案是：这篇新闻大

概讲述了“阿根廷夺

得世界杯冠军的历程”

泛化能力学会举一反三学会了！帮我概括一下NCF文章的主要内容

泛化能力

学会举一反三

学会了！

帮我概括一下

NCF文章的主要

内容

好的，NCF利用

神经网络对协同过

滤信息建模…

英文中的“GoodMorning”是中文的早上好规划能力切分简化任务学会了！“GoodMorning”翻译成早上好

英文中的“Good

Morning”是中文

的早上好

规划能力

切分简化任务

学会了！“Good

Morning”翻译成

早上好

4

规划：先用中文概

括，再翻译成英

文—”Thisblogis

abouttheLLM…”

帮我用英文概括一下面这个中文博客“大语言模型…”

知识模型

葡萄糖的化学分子式是C

葡萄糖的化

学分子式是

C6H12O6

爱因斯坦提出的质能方程是E=mc2

《战狼》讲述的

是小人物成长为

拯救国家和民族

命运的孤胆英雄

的传奇故事

FoundationLLM

在位时间最长的皇帝——(

在位时间最长的皇帝——(清)爱新觉罗.玄烨

人类的血液中含有红细胞、白细胞、血小板等不同种类

勾股定理是直角

三角形两个直角

边的平方和等于

斜边的平方

5细胞

5

推荐系统“馋”大模型啥？

?User

?User：行为多样、模式复杂，受众多外界因素影响

?Item：在物理世界中存在千丝万缕的关联，很多关联都很低频

理解不到位，泛化能力差，推荐不满意

?Learning：Pretrain-finetune,promptlearning,instruction-tun.

?Model：Well-trainedmodelswithextraordinaryabilities

ChatRepresentation：Textualfeature,textis

Chat

Representation：

Textualfeature,textisallyouneed

Few/zero-shot,cross-domain,knowledge,personalizedgen.

?Architecture：Transformer,self-attention

推荐系统“馋”大模型啥？

oOpen-endedDomainsandTasks

Model1

未知任务：个性化推荐，冷启动推荐… Model2Model3传统范式

未知任务：个性化推荐，冷启动推荐…

Model2

Model3

传统范式

特点：小作坊，各自为战

Model4

序列推荐：篮球?球梅西内马尔

推荐可解释：篮球?球(喜欢运动）

对话推荐：今天没有篮球比赛可以看，

对话推荐：今天没有篮球比赛可以看，

我建议看看曼联踢利物浦的?球比赛！

推荐鲁棒性、用户历史?为推荐

推荐鲁棒性、用户历史?为推荐

大模型范式特点：工业化、统一化、标准化、一统天下未知任务：个性化推荐，冷启动

大模型范式

特点：工业化、统一化、标准化、一统天下

未知任务：个性化推荐，冷启动推荐…

FoundationModel

序列推荐：篮球

序列推荐：篮球?球梅西内马尔

推荐可解释：篮球

推荐可解释：篮球?球(喜欢运动）

对话推荐：今天没有篮球比赛可以看，

对话推荐：今