2024腾讯云大数据年度干货合集v3.docx

码

码2/53

码

码3/5

页码4

页码4/553

页码：5

页码：5/553

码

码：6/53

码

码7/53

页码：7/553

WeData+AI：大模型与大数据双向赋能实

践

导读：本文将分享WeData大数据开发与治理平台如何与AI技术相结合，实现智能化升级。

今天的介绍会围绕以下四方面展开：

1.大模型面临的机遇与挑战

2.WeData+AI

3.DataforAI-为大模型提供高质量数据

4.AIforData-提升数据开发治理效率及用户体验

分享嘉宾｜谭杰轩腾讯云资深产品经理

编辑整理｜iris

内容校对｜李瑶

出品社区｜DataFun

01

大模型面临的机遇与挑战

如今大模型已在全球范围内各行各业中得到了快速应用和发展，在智能对话、医疗健康、内容生成和教育赋能等关键领域呈现出了爆发式的增长态势。这一发展不仅推动了相关行业的智能化转型，还促进了技术创新与产业升级。

页码：8/553

然而，在享受大模型带来的便利与效益的同时，我们也必须正视其所面临的诸多数据问题和挑战，例如数据幻觉问题、数据不一致、数据安全问题以及数据多样性不足等问题。这些问题揭示出高质量数据对大模型发展起着至关重要的作用。那么如何才能获得高质量的数据呢？

02

WeData+AI

页码：9/553

WeData平台将大模型与大数据相互驱动与共融，一方面利用AI技术加速企业专属数据资产的构建，同时这些数据资产又为模型训练提供了高质量的数据，两者相辅相成，加速企业的数据价值释放。接下来就将介绍如何利用WeData平台，实现Data+AI“双轮驱动”。

WeData是腾讯云推出的一站式数据开发治理平台，融合了数据集成、开发、测试、运维的全链路DataOps数据开发能力，以及数据建模、数据资产、数据质量、数据安全、数据服务等一系列数据管理和治理能力，并与腾讯云大数据基础引擎（如TBDS、EMR、DLC、TCHouse等）结合，致力于为企业提供稳定、高效、开放、安全的大数据解决方案。WeData自推出以来，已持续为数百家企业客户基于大数据进行的数字化转型项目提供相应的一站式服务。

下面将从DataforAI和AIforData两个方面详细介绍如何将大数据与AI结合起来。

03

页码：10/553

DataforAI-为大模型提供高质量数据

大数据与AI在数据处理流程中通常是独立存在的，为实现利用大数据为AI提供高质量的数据，并持续优化数据质量，就需要构建一个一站式数据平台将大数据与AI紧密结合起来。DataforAI部分的核心目标是让平台覆盖数据的全生命周期，并且通过数据治理措施，协助企业构建专属的数据资产。

通常整个数据的全生命周期，涵盖了从需求的提出，到数据工程师对数据的集成、加工、清洗和转换，并提供对外的数据服务，再到数据科学家使用这些数据进行模型训练、参数调整，最终生成模型服务，进而为各式各样的业务应用赋能。

页码：11/553

在此过程中，平台针对数据科学家及分析师类用户，新增了Notebook数据探索功能，以支持轻量化的模型训练和增强分析功能。此外，平台还与腾讯云机器学习平台Ti-One进行了集成，用于支持模型的训练任务。最后，通过平台统一的数据调度编排机制，将大数据处理任务与机器学习任务串联起来，构建起完整的数据链路，确保数据流畅传输，促进组织内不同角色间的紧密协作，进而加快数据价值的转化过程。

另外，平台还针对泛互、金融等行业客户的业务实际场景，结合混元和一些开源

页码：12/553

技术，提供针对于行业的精调服务，并为企业快速搭建全面而精准的知识库体系，构建结构化、非结构化数据，构建向量存储，提升大模型在行业的问答准确率。以腾讯内部的游戏部门为例，平台通过混元大模型为其打造了专属的知识库，方便业务人员直接通过自然语言的方式查询运营数据，还实现了针对不同业务推荐的库表服务，极大地提升了用数效率。

在数据质量方面，平台通过覆盖数据的全生命周期，从事前、事中到事后的数据治理流程，解决数据不规范、不一