9.21+槿松-寒退之+基于大模型的生成式检索.pdf

基于大模型的生成式检索

槿松/京东算法工程师

寒退之/京东算法工程师

DataFunSummit#2024

背景/现状介绍

Lexicalbased

SemanticIDbased

未来展望

01

背景/现状介绍

01背景介绍

召回：在一定时间和计算复杂度的约束下，从全量商品库中，快速找出与当前有哪些信誉好的足球投注网站请求潜在

相关的数千商品，要求在有限资源下进行性能和效率（召回率和准确率）之间的平衡。

两段式：模型侧：匹配精准度低，尤其是中长尾query/sku

双塔+量化、联合索引优化（poeem）、用户表述与商品描述间差异较大，缺失常识等信息；

图索引；给定信息下，模型交互不充分，匹配不准确。

索引侧：部署成本高、推理精度损失大

一段式：两段式的训练模式，索引损失大；

TDM，deepRetrieval等商品索引库需要天例行更新，部署、存储成本高。

01背景介绍

•索引侧：

•(1)稠密检索两阶段，量化损失--生成式检索一阶段，不会有链路上的损

失

•(2)例行大索引--hash索引或者轻量级索引

•模型侧：

•(3)稠密检索中，查询与文档向量的交互不够充分，仅发生在相似度计算--

生成式检索模型能实现隐式的查询和文档的深度交互，性能上界更高

•(4)充分利用大语言模型的scalinglaw特性，提升模型表达能力和泛化能

力，显著缓解中长尾问题

02

Lexicalbased

02Lexicalbased

/abs/2407.19829

02Lexicalbased

QUERYLLMTITLE

领域特性

位置全局无关、局部敏感

信息冗余

挑战：训练任务较难、有哪些信誉好的足球投注网站空间大、生成非商品率高等

query太短，title较长；传统问答相反，输入信息多，答案少

一对多/超多，多样性要求高

生成空间大，准确率低，且生成的非商品率过高（不在商品库中）

02Lexicalbased

02Lexicalbased

Query2TitleQuery2MultiSpan

Title：

舒肤佳抑菌洗手液100ml老包装

Split(ngram):

[舒肤佳][抑菌][洗手液][100ml][老包装]

Sort(ngram):

[老包装][舒肤佳][洗手液][抑菌][100ml]

Agg(span)：

[老包装舒肤佳][洗手液抑菌100ml]

02Lexicalbased