湖仓一体大数据平台解决方案.pdf

湖仓一体大数据平台

解决方案

湖仓一体大数据平台概述

湖仓一体大数据平台，承担了企业数据治理、开发、管理等职

责，往下集成数据，往上搭载应用。

通过数据同步、研发、运维、服务及治理等过程，对企业大数

据进行智能管理，形成企业的数据资产。

湖仓一体大数据平台架构

基础设施引擎层控制台数据规划数据集成数据研发数据运维数据服务数据治理

阿里云工作空间管理资产盘点数据源管理常规开发常规运维数据地图

资产盘点报告数据源离线开发数据生产运维数据订阅数据管理

数据质量运维

华为云项目管理元数据管理数据文件实时开发类目管理

S-EMR数据探查规范建表数据工厂指标运维API中心数据安全

电信云子账号管理规范建模

探查报告可视化建表指标管理指标任务监控API授权数据脱敏

探查任务配置DDL建表参数配置指标查询API调用数据加密

腾讯云阿里云-EMR角色权限管理探查实例管理

数据同步API工厂API运维标签中心生命周期

数据标准脚本/向导模式

京东云AccessKey离线同步自定义函数导入配置、告警量级、覆盖率治理项管理

管理数据标准管理实时同步在线测试数据查询安全组配置标签值分布治理效果分析

AWS-EMR标准覆盖率评估

Azure标签工厂标签运维全链血缘

平台安全设置实体管理

标签任务监控元数据检索

AWS华为云-MRS标签管理标签查询元数据分析

任务管理

…算法工厂算法运维

算法开发算法任务监控

本地