数据中台总体架构图、数据中台治理体系解决方案.pdfVIP

数据中台总体架构图、数据中台治理体系解决方案.pdf

  1. 1、本文档共3页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多

数据中台的目标是让数据持续用起来,通过数据中台提供的工具、方法和运行机制,把数据变

为一种服务能力,让数据更方便地被业务所使用。

下图为数据中台总体架构图,数据中台是在底层存储计算平台与上层的数据应用之间的一整套

体系。数据中台屏蔽掉底层存储平台的计算技术复杂性,降低对技术人才的需求,让数据的使

用成本更低。通过数据中台的数据汇聚、数据开发模块建立企业数据资产。通过资产管理与治

理、数据服务把数据资产变为数据服务能力,服务于企业业务。数据安全体系、数据运营体系

保障数据中台可以长期健康、持续运转。

一个通用的数据中台架构应该如何构建?

1.数据中台总体架构图数据汇聚

数据汇聚是数据中台数据接入的入口。数据中台本身几乎不产生数据,所有数据来自于业务系

统、日志、文件、网络等,这些数据分散在不同的网络环境和存储平台中,难以利用,很难产

生业务价值。数据汇聚是数据中台必须提供的核心工具,把各种异构网络、异构数据源的数据

能够方便地采集到数据中台进行集中存储,为后续的加工建模做准备。数据汇聚方式一般有数

据库同步、埋点、网络爬虫、消息队列等;从汇聚的时效性来分,有离线批量汇聚和实时采集。

数据开发

通过数据汇聚模块汇聚到中台的数据,没有经过什么处理,基本是按照数据的原始状态堆砌在

一起的,这样业务还是很难使用。数据开发是一整套数据加工以及加工过程管控的工具,有经

验的数据开发、算法建模人员利用数据加工模块提供的功能,可以快速把数据加工成对业务有

价值的形式,提供给业务使用。数据开发模块主要是面向开发、分析人员,提供离线、实时、

算法开发工具以及任务的管理、代码发布、运维、监控、告警等一些列集成工具,方便使用,

提升效率。

2.数据资产体系

有了数据汇聚、数据开发模块,中台已经具备传统数仓平台的基本能力,可以做数据的汇聚以

及各种数据开发,就可以建立企业的数据资产体系。之前说数据资产体系是中台的血肉,开发、

管理、使用的都是数据。大数据时代,数据量大,增长快,业务对数据的依赖也会越来越高,

必须考虑数据的一致性和可复用性,垂直烟囱式的数据和数据服务的建设方式注定不能长久存

在。不同的企业因业务不同导致数据不同,数据建设的内容也是不同的,但是建设方法可以相

似,数据要统一建设,笔者建议数据按照贴源数据、统一数仓、标签数据、应用数据的标准统

一建设。

3.数据资产管理

通过数据资产体系建立起来的数据资产还是一套偏技术的数据体系,业务人员比较难理解。资

产管理是以企业全员更好理解的方式,把企业的数据资产展现给企业全员(当然要考虑权限和

安全管控),数据资产管理包括对数据资产目录、元数据、数据质量、数据血缘、数据生命周

期等进行管理和展示,以一种更直观的方式展现企业的数据资产,提升企业的数据意识。

4.数据服务体系

前面利用数据汇聚、数据开发建设企业数据资产,利用数据管理展现企业的数据资产,但是并

没有发挥数据的价值。数据服务体系就是把数据变为一种服务能力,通过数据服务让数据参与

到业务,激活整个数据中台,数据服务体系是数据中台存在的价值所在。企业的数据服务是千

变万化的,中台产品可以带有一些标准服务,但是很难满足企业的服务诉求,大部分服务还是

需要通过中台的能力快速定制。数据中台的服务模块并没有自带很多服务,而是提供快速的服

务生成能力以及服务的管控、鉴权、计量等功能。

5.运营体系和安全体系

通过前面的数据汇聚、数据开发、数据资产、资产管理、数据服务,已经完成了整个数据中台

的搭建和建设,也已经在业务中发挥一定的价值。运营体系和安全体系是数据中台得以健康、

持续运转的基础,如果没有它们,数据中台很可能像个一般项目一样,一期搭建起平台、建设

部分数据、尝试一两个应用场景之后而止步,无法正常地持续运营,不能持续发挥数据应用价

值。这也就完全达不到建设数据中台的目标。

文档评论(0)

动点策划 + 关注
官方认证
服务提供商

动点策划通过提供各行各业经典策划案例,策划思路,行业必威体育精装版动态,旨在做好你的助手,为你正在谋划的事情提供框架思路或创作灵感。

认证主体迈通人才资源咨询(广东)有 限公司
IP属地广东
统一社会信用代码/组织机构代码
914400007224748147

1亿VIP精品文档

相关文档