大数据湖体系规划与建设方案.pptxVIP

大数据湖体系规划与建设方案;目录;数据架构与承载体系的演变过程;背景：数据快速入湖，分析更加智能，应用更加多样，服务更加开放;数据湖产生背景及概念提出;把不同结构的数据统一存储，使不同数据有一致的存储方式，在使用时方便连接，真正解决数据集成问题。 全部采集（Collect Everything） 随处研究（Dive In Anywhere） 灵活访问（Flexible Access）;从对比中理解数据湖概念 — 优势篇;;数据湖是大数据概念的延伸;数据湖概念上的甄别;数据湖体系的架构规划;数据湖建设的四个阶段;建设难点与???险;业界主流公司的数据湖规划 — Hortonworks;业界主流公司对于数据湖的规划 — IBM;目录;;大数据湖存储能力规划——统一标准/分区存储;大数据湖原生数据区规划——原生入湖/分类存储/按需使用;大数据湖整合数据区规划——构建企业级核心实体关联视图;大数据湖应用数据专区规划——面向应用的自建自维数据专区;大数据湖主数据区规划 —— 企业级核心/统一运营保障;目录;已建;;;生态圈入湖建设要求与规范;生态圈数据整合处理原则及关键点;生态圈自然人实体归集与对齐;生态圈数据接入与存储;目录;大数据场景下数据服务的能力建设要求;;统一访问共享典型应用场景;;大数据服务关键能力：统一数据接入/转换/服务对接能力;统一数据服务中间件 —— 跨域联邦/标准查询/统一访问;各类跨架构数据源端连接与访问;灵活自主的数据服务集定义;DataBroker查询语法;示例1：在用户增长数据集中,查询2018年10月比9月的入网用户增长比例,按地区分组,按排序字段排序 SELET ROUND((month_ten-month_nine)/ month_nine) as “增长比例”, user_area as “地区” FROM user_in_month_detail GROUP BY user_area ORDER BY order_code;目录;统一运营管理;大数据湖统一运营监控 —— 全生命周期监控/运营规范显性化;通过构建数据质量管控系统，打通数据湖与数据源端的交互，建立起稽核问题任务派发、追踪及结果反馈的保障机制，提升稽核效率，实现闭环的数据质量管控体系。;运维支撑：增加数据质量稽核能力;运维支撑：自助化数据质量分析工具展示;数据生态评估：大数据湖生态健康评估与优化;;数据规范标准贯穿数据的整个生命周期，从生产到应用的全流程，实现有规可依，有法可循。;感谢聆听！