2024腾讯云大数据年度干货合集v3.pdfVIP

页码：1/553

页码：2/553

页码：3/553

页码：4/553

页码：5/553

页码：6/553

页码：7/553

WeData+AI：大模型与大数据双向赋能实

践

导读：本文将分享WeData大数据开发与治理平台如何与AI技术相结合，实

现智能化升级。

今天的介绍会围绕以下四方面展开：

1.大模型面临的机遇与挑战

2.WeData+AI

3.DataforAI-为大模型提供高质量数据

4.AIforData-提升数据开发治理效率及用户体验

分享嘉宾｜谭杰轩腾讯云资深产品经理

编辑整理｜iris

内容校对｜李瑶

出品社区｜DataFun

01

大模型面临的机遇与挑战

如今大模型已在全球范围内各行各业中得到了快速应用和发展，在智能对话、医

疗健康、内容生成和教育赋能等关键领域呈现出了爆发式的增长态势。这一发展

不仅推动了相关行业的智能化转型，还促进了技术创新与产业升级。

页码：7/553

然而，在享受大模型带来的便利与效益的同时，我们也必须正视其所面临的诸多

数据问题和挑战，例如数据幻觉问题、数据不一致、数据安全问题以及数据多样

性不足等问题。这些问题揭示出高质量数据对大模型发展起着至关重要的作用。

那么如何才能获得高质量的数据呢？

02

WeData+AI

页码：8/553

WeData平台将大模型与大数据相互驱动与共融，一方面利用AI技术加速企业

专属数据资产的构建，同时这些数据资产又为模型训练提供了高质量的数据，两

者相辅相成，加速企业的数据价值释放。接下来就将介绍如何利用WeData平

台，实现Data+AI“双轮驱动”。

WeData是腾讯云推出的一站式数据开发治理平台，融合了数据集成、开发、测

试、运维的全链路DataOps数据开发能力，以及数据建模、数据资产、数据质

量、数据安全、数据服务等一系列数据管理和治理能力，并与腾讯云大数据基础

引擎（如TBDS、EMR、DLC、TCHouse等）结合，致力于为企业提供稳定、

高效、开放、安全的大数据解决方案。WeData自推出以来，已持续为数百家企

业客户基于大数据进行的数字化转型项目提供相应的一站式服务。

下面将从DataforAI和AIforData两个方面详细介绍如何将大数据与AI

结合起来。

03

页码：9/553

DataforAI-为大模型提供高质量数据

大数据与AI在数据处理流程中通常是独立存在的，为实现利用大数据为AI提

供高质量的数据，并持续优化数据质量，就需要构建一个一站式数据平台将大数

据与AI紧密结合起来。DataforAI部分的核心目标是让平台覆盖数据的全生

命周期，并且通过数据治理措施，协助企业构建专属的数据资产。

通常整个数据的全生命周期，涵盖了从需求的提出，到数据工程师对数据的集成、

加工、清洗和转换，并提供对外的数据服务，再到数据科学家使用这些数据进行

模型训练、参数调整，最终生成模型服务，进而为各式各样的业务应用赋能。

页码：10/553

在此过程中，平台针对数据科学家及分析师类用户，新增了Notebook数据探

索功能，以支持轻量化的模型训练和增强分析功能。此外，平台还与腾讯云机器

学习平台Ti-One进行了集成，用于支持模型的训练任务。最后，通过平台统一

的数据调度编排机制，将大数据处理任务与机器学习任务串联起来，构建起完整

的数据链路，确保数据流畅传输，促进组织内不同角色间的紧密协作，进而加快

数据价值的转化过程。

另外，平台还针对泛互、金融等行业客户的业务实际场景，结合混元和一些开源

页码：11/553

技术，提供针对于行业的精调服务，并为