云数据仓库+ByteHouse+架构下的+RAG+技术实践与性能优化-火山引擎+田昕晖.docx

云数据仓库ByteHouse架构下的RAG技术实践与性能优化

演讲人：田昕晖

火山引擎/ByteHouse技术团队

RAG相关技术简介

.

.高性能向量检索技术

目

目录

.

.全文检索混合检索.GraphRAG实践

ConclusionDiscussion

RAG相关技术简介

NaiveRAG

HybridSearch

RRF:(ReciprocalRankFusion)

?基于排名重排

?同时考虑语义及关键字信息

GraphRAG

文本-大模型-图结构检索关联性信息，全局信息

Q:Whichpublicfiguresarerepeatedly

mentionedacrossvariousentertainmentarticles?

AgenticRAG

https://langchain-ai.github.io/langgraph/tutorials/rag/langgraph_agentic_rag

AdaptiveRAG

Jeong,Soyeong,etal.Adaptive-rag:Learningtoadapt

retrieval-augmentedlargelanguagemodelsthroughquestioncomplexity.arXivpreprintarXiv:2403.14403(2024).

Zhao,Siyun,etal.RetrievalAugmentedGeneration(RAG)andBeyond:A

ComprehensiveSurveyonHowtoMakeyourLLMsuseExternalDataMoreWisely.arXivpreprintarXiv:2409.14924(2024).

RAG相关技术需求

要解决的问题：如何让大模型利用外部知识库，回答符合预期的问题？

?MemoryEngineering

?如何获取准确的相关数据

?如何让大模型回答的答案有效利用检索数据?性能

数据层大模型层

高性能检索技术：

?向量检索（DenseSparse）

?全文检索（关键词有哪些信誉好的足球投注网站）?图检索

?结构化信息检索

?其他可以基于问题检索答案的相关技术

融合混合有哪些信誉好的足球投注网站?向量+标量?向量+文本?稠密+稀疏向量

?向量+图

...

数据处理：

?文本切分

?向量提取

?Rerank

...

大模型交互与性能优化：

?PromptEngineering

?Agents

?SFTforRAG

?模型结构Retrieval优化

?其他幻觉消除及推理优化技术

数据管理及操作基础机制：容错、鉴权、可扩展、灵活接口...

高性能向量检索技术

向量检索

向量检索ForNLP

/a-guide-to-word-embeddings-8a23817ab60f

ANN结构：向量索引

?Table-based?LSH

?Tree-based

?KD-Tree,Annoy

?Cluster-based

?IVF,SCANN,SPANN

?Graph-based

?HNSW,NSG,DiskANN

YusukeMatsui.Billion-scaleApproximateNearestNeighborSearch,ACMMultimedia2020

ANN结构：向量索引

Cluster-based：向量基于相似度分簇基于Kmeans训练聚类中心

构建速度快，内存占用量较少

检索时参与计算节点较多，高精度查询性能差

https://www.pinecone.io/learn/series/faiss/vector-indexes/

ANN结构：向量索引

Graph-based（HNSW）：向量基于相似度建图

构建时为每个节点维护最近邻信息多层结构加速检索

构建速度慢，内存占用量较多

检索时参与计算节点较少，并发性能好

https://www.pinecone.io/learn/series/faiss/hnsw/

向量压缩

降低向量索引