一文读懂数据中台架构建设体系图文详解(建议收藏).pdfVIP

一文读懂数据中台架构建设体系图文详解(建议收藏).pdf

  1. 1、本文档共5页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多

一文读懂数据中台架构建设体系图文详解

(建议收藏)

必威体育精装版版一文读懂数据中台架构建设体系图文分析

(建议收藏)

当前,大部分企业不再建设从源数据采集到分析应用的烟

囱式系统,更倾向于数据集中采集、存储,并应用分层建设。

这种方式一方面有利于应用系统的快速部署,另一方面也保证

了数据的集中管理与运营,体现数据的资产、资源属性。

数据中台的出现弥补了数据开发和应用开发之间由于开发

速度不匹配而出现的响应力不足等缺陷问题。

数据中台是国内学者提出的概念,起始于XXX的“大中

台、小前台”概念。XXX的中台是从管理的角度出发,以

XXX集中数据有哪些信誉好的足球投注网站,技术及产品,数据共享等多个部门的功

能。其他组织或企业建设数据中台不一定需要成立XXX,但

是数据集中治理与提升数据价值转换效率的思路是一致的。

01—

数据中台通用体系架构

不同的企业对数据有不同的需求。企业数据应用不断更新

迭代,企业的中台系统也需要不断变化。

从数据处理与数据治理两个维度出发,可以设计一个解耦

的数据中台体系架构。该数据中台体系架构具有一定的柔性。

1

可按照企业应用需求进行组合,或者对单个模块进行扩充,

能满意大多数企业数据中台建设的需求。

数据中台体系架构示例

数据中台的通用体系架构如图2所示。该中台体系架构以

减少功能冗余和提高功能复用为原则,把数据中台解耦为6个

可以分别独立建设、演进的功能子系统。

2

数据结构与数据处理子系统是数据中台体系架构的核心,

数据治理是提升数据价值的重要手段。该数据中台体系架构的

通用性表现在以下几点。

该数据中台体系架构综合考虑了数据中台的各种要素,参

考这个架构进行建设可以有效晋升数据资产价值,供应数据及

服务的共享。

参考这个数据中台体系架构,企业可以一次规划、分步实

施。首先建设处理子系统及数据存储子系统,然后根据业务发

展需求,逐步补充数据采集、数据安全及数据治理子系统。

该数据中台由6个解耦的子系统组成。企业在立项建设时

可以灵活组合,每个子系统零丁招标建设,也可以把多个子系

统归并招标建设。数据中台通用体系架构包罗数据存储框架、

数据采集框架、数据处理框架、数据治理框架、数据安全框架

及数据运营框架等6大局部。

1、数据存储框架

数据中台的核心是数据,数据通过采集系统获取,然后数

据经过处理框架加工,并接受数据治理框架的管理,同时也要

接受数据安全管理框架的管理,最后开放的价值数据将通过数

据运营框架对外提供数据服务。

数据中台的数据架构应该独立规划,并采用合理的技术架

构对不同类型的数据进行存储。

3

数据存储框架中,无论数据接纳对象存储、块存储还是数

据库存储技术,各种中台数据可按照上图所示分类管理。

源数据主要由采集框架进行管理,数据治理框架按照数据

特征把数据简朴分为布局化和非布局化数据两大类,而规范化

分域数据则是数据治理框架对全量数据的规范化分域整理。宽

表数据是数据关联的结果,利用宽表数据可以对人、事、地、

物、组等对象进行完整的数据画像,同时宽表数据也可以作为

上层模子数据的中间层数据。

元数据和标签数据都是对数据的描述,个中元数据用来对

数据的客观属性进行表示,标签数据更偏向于管理者对数据的

主观表述及等级划分,比如质量等级标签、安全标签、属性标

签等。主数据需要在各系统间频繁更新、交换,且需要自力的

存储空间进行维护管理。

2、数据采集框架

数据中台的采集框架应对纳入数据中台的各种源数据进行

统一采集管理。数据采集框架中应提供多种数据采集方式,如

文件传输协议采集、数据库采集、接口应用程序接入采集、流

式采集及网络爬虫采集。

同时采集框架应按照数据采集规范对源数据进行预处理,

从而去除明显不需要的数据及多余数据,并对采集过程进行管

4

理。虽然数据中台的体系架构没有统一模板,但各企业数

据采集框架基本一致。

3、数据处理框架

数据处理是每个数据应用的基本环节之一,经典的数据抽

取、转换和加载(ETL)处理流程在数据采集预处理、数据整

合、数据建模等多个地方均要使用。单

文档评论(0)

177****3106 + 关注
实名认证
文档贡献者

大学本科生

1亿VIP精品文档

相关文档