- 1、本文档共12页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
大数据管理平台(数据中台)方案及重难点技术分析--第1页
大数据管理平台(数据中台)方案及重难点技术分析
建设大数据管理中台,按照统一的数据规范和标准体系,构建统
一数据采集-治理-共享标准、统一技术开发体系、统一接口API,实
现数据采集、平台治理,业务应用三层解耦,并按照统一标准格式提
供高效的数据支撑服务,保证上层业务应用系统能够更加专注于业务
流与数据流的梳理和重构,从而释放数据压力,节约系统开发周期,
提升系统建设效率,满足企业、政府数据精细治理、分类组织、精准
服务、安全可控的数据资源体系管理目标。
在业务系统较复杂的情况下,大数据管理平台中的主流的解决方
案为技术中台解决方案,主要目的为打破信息孤岛。
在数据中台建设中,我们主要有以下目标:
(1)去重,避免重复建设,规避重复造轮子/烟囱式架构节约公司
成本;
(2)复用,系统快速复用,标准化、组件化、松耦合,支持前台业
务快速迭代、灵活创新;
(3)做强,能力不断沉淀,服务可被不断滋养,系统可统一把控;
建设数据中体采用如下方法:
(1)明确中台建设目标及领域;
(2)梳理价值链并萃取功能点;
(3)设计中台并梳理前中后关系;
在决策支持方案中,我们采用的数据存储于数据仓库中,有质量
大数据管理平台(数据中台)方案及重难点技术分析--第1页
大数据管理平台(数据中台)方案及重难点技术分析--第2页
管控,决策支持,采用的思路为:有什么样的数据,我们分析什么样
的数据;在数据中台方案中我们采用数据驱动的方式,以数据价值为
驱动,采集更多的数据,是干什么样的事,采集什么样的数据。数据
运营优化中,采用规范数据,规范数据应用,优化中台,形成数据应
用闭环(数据分析闭环)。
解决数据孤岛,让数据发挥价值,回馈企业。采用以数据为驱动,
按照需要什么样的数据,采集什么样的方式。数据的来源以多系统的
真实数据和设备采集的实时数据为基础。
在大数据系统(数据中台)中,我们需要对各个子系统静态数据
与采集实时流数据进行标准化。在数据治理的过程中,我们采用对不
同数据源的接入,提供对元数据的整体管理能力,提供目录和标签的
管理,同时针对数据本身提供权限访问,数据探查和质量报告等提高
数据治理的能力和水平。
从布点、收集、存储、刷新、识辨、关联、挖掘、决策、行动、
再到反馈,这样一个闭环,才能让数据驱动业务。在数据真实性的前
提下,数据驱动业务,才能以数据为驱动,为企业提供经营决策,创
造效益。构建大数据分析系统(数据中台),存在一下问题:
(1)数据采集的正确性确定难,从一端流向另一端,不可避免会
产生转化率的问题,如何将非真实的数据与异常的数据过滤掉,收集
真实的数据,实现完整的数据闭环,才能让数据挖掘、数据分析变成
商业价值。数据真实性的收集,异常数据的过滤,在大数据平台建设
过程中,是建设的难点之一。
大数据管理平台(数据中台)方案及重难点技术分析--第2页
大数据管理平台(数据中台)方案及重难点技术分析--第3页
(2)技术选型困难,不同业务方有不同的数据需求,技术选型时
依据这些客观需求及主观偏好,会选择不同的计算框架和数据组件,
搭建一个合适特定行业的业务架构与技术架构,让企业转型变简单,
也成为建立大数据分析系统的难点;
(3)数据需求多样,业务部门需求多样化,包括报表计算、可视
化看板、数据探索、数据服务、结果推送、数据采集及迁移、标签体
系、用户触达、数据应用;
(4)数据管理
您可能关注的文档
- 建筑垃圾资源化再生利用项目服务方案.pdf
- 江苏省小学信息技术说课稿图形修改.pdf
- 一年级班主任发言稿范文(精选12篇).pdf
- 三校生高考英语真题.pdf
- 智能生产管理及mes应用课程标准.pdf
- 小学数学_认识毫米教学设计学情分析教材分析课后反思.pdf
- 2023肝癌的预防、诊断、治疗进展(全文).pdf
- 互联网初学者入门指南.pdf
- 建筑公司独立经营管理方案.pdf
- 机械产品设计中装配结构工艺性.pdf
- 2024年江西省寻乌县九上数学开学复习检测模拟试题【含答案】.doc
- 2024年江西省省宜春市袁州区数学九上开学学业水平测试模拟试题【含答案】.doc
- 《GB/T 44275.2-2024工业自动化系统与集成 开放技术字典及其在主数据中的应用 第2部分:术语》.pdf
- 中国国家标准 GB/T 44275.2-2024工业自动化系统与集成 开放技术字典及其在主数据中的应用 第2部分:术语.pdf
- GB/T 44285.1-2024卡及身份识别安全设备 通过移动设备进行身份管理的构件 第1部分:移动电子身份系统的通用系统架构.pdf
- 《GB/T 44285.1-2024卡及身份识别安全设备 通过移动设备进行身份管理的构件 第1部分:移动电子身份系统的通用系统架构》.pdf
- 中国国家标准 GB/T 44285.1-2024卡及身份识别安全设备 通过移动设备进行身份管理的构件 第1部分:移动电子身份系统的通用系统架构.pdf
- GB/T 44275.11-2024工业自动化系统与集成 开放技术字典及其在主数据中的应用 第11部分:术语制定指南.pdf
- 中国国家标准 GB/T 44275.11-2024工业自动化系统与集成 开放技术字典及其在主数据中的应用 第11部分:术语制定指南.pdf
- 《GB/T 44275.11-2024工业自动化系统与集成 开放技术字典及其在主数据中的应用 第11部分:术语制定指南》.pdf
文档评论(0)