大数据治理平台总体架构、技术架构、功能架构及数据应用解决方案.pdf

大数据治理平台总体架构、技术架构、

功能架构及数据应用解决方案

一、大数据解决方案概述

1大数据解决方案概述

Part

二、大数据治理平台总体架构

2大数据治理平台总体架构

Part

应共享开放数据治理数据安

用服务APISDKJDBC/ODBC微服务

智能调度权限管理

数据标准

分人工智能模型算法库机器学习可视化建模任务发布

析安全接入

数据质量

任务调度

数据加解密

处数据总线数据处理数据分析数据迁移任务管理元数据管理

理

数据分级

数据地图

任务监控

HiveHbase关系内存其他

存型数数据数据任务关联数据资产日志审计

储HDFS据库库库

统一认证

采数据采集实时采集离线采集结构化数据采集非结构化数据采集

三、数据采集平台

整理制作郎丰利1519

三、数据采集平台

3大数据治理平台总体架构-数据采集平台

Part

3数据采集平台——定位及特色

Part

产品定位

随着大数据时代的不断发展，各大企业、政府纷纷建立大数据中心，数据分析、应用的脚步越来越快，在此过程中，异

构数据源的使用、关联分析的需求越发旺盛，如何快速、便捷地采集异构数据至大数据平台，成为数据采集汇聚的关键。

我司提供的数据汇聚产品主要功能是将各种存储方式的数据源接入到大数据平台或者其他数据仓库。通过提供可视化界

面，帮助用户轻松完成采集任务创建、运行，并实时提供任务监控，使用户随时了解自己的采集任务状态。

采用主流的流式计算引擎作为产品的主要采集框架，提供离线采集、实时采集两种方式，满足用户不同的采集需求。

产品特色

快捷易用组件灵活实时监控服务完善

01全流程可视化操作，拖拽02提供多种基础数据源组件，03工具提供实时监控功能，04专业的技术团队随时为用

式编辑工作流，配置采集处理组件，目标组件，也用户可随时查看采集任务户提供技术支持工作，提

信息，采集任务轻松灵活可根据用户需求，任意拼状态，及时干预