eBay多模态与GNN商品嵌入技术.pptx

eBay多模态与GNN商品嵌入技术提升推荐系统效能与用户体验翁力雳-eBay-Recs Tech LeadDataFunCon#2024

讲师介绍翁力雳eBay-RecsTechLead

Contents目录痛点分析因地制宜的多模态模型Why图模型Takeaway/答疑

痛点分析

网路市集的特殊性eBay依赖卖家确保他们上架商品的准确、完整和高质量Low-qualityimagesSellerlistingimagesshowcasingtheirproductsmaybeblurry,poorlylit,oroflowresolution.LackofconsistencySomesellersmaytakegreatcaretocreatehigh-qualitylistings,whileothersmaynotputinasmucheffort.InaccurateorincompletetitlesSomesellersmaynotprovideenoughinformationintheirtitleswhileothersmayprovideinaccurateinformationintheirtitlesLong-tailproblemReferringtothedistributioncurvethatdepictsthepopularityofproductsorservices,withafewpopularitemsattheheadofthecurveandalongtailoflesspopularitems.

网路市集的特殊性eBay依赖卖家确保他们上架商品的准确、完整和高质量

单一模态的局限性

全球用户的购买习惯

因地制宜的多模态模型

多模态商品嵌入解决方案深入地理解eBay上的商品特性，并为推荐系统打造更精确、高效的召回集

孪生双塔模型的模型结构这一神经网络架构的杰出代表，巧妙地运用两个相同的子网络（或塔）来处理截然不同的输入

三元损失函数与TransH相同的标题可以对应不同的图片，而同一张图片也可以对应不同的标题。

三元损失函数与TransH相同的标题可以对应不同的图片，而同一张图片也可以对应不同的标题。

图文不匹配检测模块作为在线市场的佼佼者，eBay汇聚了大量由个体卖家提供的二手商品。然而，这些商品的图片质量及其准确展示有时会出现参差不齐的情况。

工程设计实时流任务+全量数据embedding批处理+降维FaissKNN

在线实验结果在eBay的多个展示推荐页面上，基于多模态嵌入的召回技术已经全面部署，覆盖了列表页面、购物车页面、订单详情页面以及观看页面等;点击率（CTR）提高了15.9%,购买率（PTR）增长了31.5%

Why图模型

统一二部图的建立核心工作在于定义用户与商品的行为交互图，然后完成在图上的采样工作

模型结构GNN召回模型是一个典型的双塔结构，由用户侧和物品侧组成。

物品侧用户侧物品侧要完成的任务是聚合目标物品及其邻居物品的所有信息；用户侧，我们需要完成用户行为的聚合

在线实验结果在eBay的多个展示推荐页面上，基于多模态嵌入的召回技术已经全面部署，覆盖了列表页面、购物车页面、订单详情页面以及观看页面等;点击率（CTR）提高了10%,购买率（PTR）增长了5%

工程设计实时流任务+全量数据embedding批处理+降维FaissKNN

Takeaway

多模态大模型–模态桥接当前AI领域的关注重心正从大型语言模型（LLM）向多模态转移，于是乎，让LLM具备多模态能力的多模态大型语言模型（MM-LLM）就成了一个备受关注的研究主题

多模态输入带来的业务创新一位创新的设计师，他能够消化各种模态来推荐列表，使设计栩栩如生