大模型在华为推荐场景中的探索和应用.pdf

大模型在华为推荐场景中的

探索和应用

演讲人：陈渤

华为诺亚方舟实验室高级算法工程师

目录

CONTENTS

01背景02LLMforFeature

03LLMforRanking04总结与展望

背景

推荐系统背景

信息过载时代下的推荐系统

为用户推荐感兴趣的资讯，提升用户体验

广告主精准投放，挖掘潜在客户

提供更好的服务，建设平台生态，提升平台收益

Historicaluser-iteminteractionsoradditional

sideinformation(e.g.,socialrelations,item’s

INPUTknowledge,etc.)

Predicthowlikelyauserwouldinteractwitha

targetitem(e.g.,click,view,orpurchase)

OUTPUT

大模型时代下的推荐系统

传统的推荐模型大模型时代下的推荐系统

充分利用用户-物品协同信号建模√引入外部开放世界知识，丰富语义信号√

模型相对较小，时间空间开销低√具备跨域推荐能力，适合冷启动场景√

只能利用数据集内的知识×协同信号缺失×

缺乏语义信息和深度意图推理×计算复杂度高，难以处理海量样本×

推荐模型如何从大模型中取长补短，从而提升推荐性能？

LLM4Rec

Howcanrecommendersystemsbenefitfromlargelanguagemodels:Asurvey

LLM4Rec在工业推荐链路中的应用：

特征工程：对原始数据进行加工、增强，得到结构化特

征，包括用户/物品维度和样本维度的特征

特征编码：对结构化特征进行编码，得到对应的稠密向

量表示，如用户/物品表征

打分/排序：对候选物品进行打分排序，包括物品打分

（精排）和物品直接生成（召回/重排）

用户交互：对话式推荐中用户和系统交互过程中，通过

理解用户对话和意图，给用户提供物品推荐

流程控制：控制推荐系统的整体流程，如对排序阶段的

控制

LinJ,DaiX,XiY,etal.Howcanrecommendersystemsbenefitfromlargelanguagemodels:Asurvey[J].TOIS2024.

LLM4RecHowcanrecommendersystemsbenefitfromlargelanguagemodels:Asurvey

不微调LLM，引入CRM微调LLM，引入CRM

根据训练和推理两个阶段，将现有LLM4Rec工作分为四个象限：

横坐标：在训练阶段，大语言模型是否需要微调

纵坐标：在推理阶段，是否需要引入传统推荐模型

LLM4Rec呈现出两个趋势：语义+协同

模型：通过引入传统推荐模型（CRM）为语言模型注入协同

信号

数据：通过引入推荐场景的数据，结合大模型微调，为语

言模型注入协同信号

不微调LLM，不引入CRM