从统一数据治理到下一代企业级+Data+Agent+的实践与创新.pdf

从统一数据治理到下一代

企业级DataAgent的实

践与创新

演讲人：史少锋

Datastrato/VPofengineering

关于我

史少锋

DatastratoVPofengineering

Apachemember,ApacheIncubatorPMC,Mentorof

ApacheGravitino,Gluten,HoraeDB等多个项目

AI时代的数据需求

01

现有技术的挑战

02

目录统一数据治理的价值

03

企业级RAG和DataAgent

04

统一数据管理最佳实践

05

AI时代的数据需求

AI技术的应用激发企业对数据的旺盛需求

AI的应用重度依赖于数据；没有数据，

AI会成为无源之水、无本之木

根据IDC估计，全世界的数据量将从

2018年的33ZB，增长到2025年的

175ZB。

数据–AI应用的核心

输入数据加工数据集模型向量提示词

数据贯穿于AI应用的整个链路

数据治理–AI应用中不可或缺的部分

数据发现数据血缘数据治理数据安全

不同组织之间分享和数据之间的生成依数据标准、数据质量、数权限控制、加密策略、访

发现数据集、模型等赖关系等据生命周期等问审计等

优秀的数据治理对AI的成功应用至关重要

AIisOnlyasGoodasyourDatamanagementisGood

Garbagein,garbageout!

https://www.llamaindex.ai/blog/introducing-llamacloud-and-llamaparse-af8cedf9006b

现有数据管理技术的挑战

数据被锁定在不同的数据源中

传统大数据时代