企业大数据湖总体规划及大数据湖一体化运营管理建设方案.pdf

企业大数据湖总体规划及大数据湖

一体化运营管理建设方案

目录

1背景：大数据湖的发展背景与建设理

2体系：大数据湖体系规划与建设思路

3生态圈：探索新兴业务入湖建设模式

4共享：大数据湖统一访问共享规划

5运营：大数据湖一体化运营管理建设

数据架构与承载体系的演变过程

完整性、一致性、交互稳定性，企业级跨域整合、业务扩展性、存储经济性、高性能、高扩展、

并发性，异常可恢复性架构设计合理性、流程规范性高并发、灵活模型适配性

1970’sE.F.Codd发明DBMS1990’sBillInmon提出DW概念2000’sGoogle发布三篇论文

1数据库时代2数据仓库时代3大数据平台时代

关系型数据库解决了信息时代的数据资源存DW研究和解决了从数据库中获取信息的问面对大数据5V特点，采用分布式、并行化

储和管理，实现了电子化的文件柜题，通过OLAP、数据挖掘等帮助企业决策的存储和计算架构，提升数据处理能力

ü采用数据模型表示数据结构，冗余小分析，构建商业智能（BI）ü对象：PB级，80%以上非结构化数据

ü面向事务管理，具有ACID特性ü面向主题的，关注用户重点业务ü技术：分布式架构、云计算、虚拟化等

ü数据统一管理和控制，易维护和扩充ü集成的，跨越历史、区域、系统…üCAP原理：CAPBASE

ü程序与数据独立，具有良好用户接口ü稳定的，具有只读性质，以查询为主ü目标：线性扩展、弹性计算、实时响应、

ü以时间序列存储，非规范化管理动态调节

背景：数据快速入湖，分析更加智能，应用更加多样，服务更加开放

u更多企业数据将进入数据湖，来自传统系统的数据和传感器等新型数据资源不断融合，数据孤岛将继续被打破。

u随着大数据分析能力的不断提高，人工智能的重要性被逐步提升。当今最先进的机器学习和人工智能系统正在超越传统的基于

规则的算法，创建出能够理解、学习、预测、适应，甚至可以自主操作的系统。

大数据发展趋势分析

数据•以更加深度的数据开放，跨行业大数据关联。

数据服务服务

•以更多样的应用能力，构建针对性行业解决方案。

深度数据开放，针对方案制定

数据•智能应用，基于AI与机器学习分析，个性化服务提供。

数据应用应用•应用快速构建，基于数据湖进行细粒度的收集、探索和分析

应用更加智能，构建更加快速

数