大数据平台解决方案.docx

2023

1Part

1

Part

应用

应用分析处理存储采集

2

Part

大数据产品架构

智能调度

智能调度

任务发布 任务调度 任务管理任务监控 任务关联

共享开放

服务APISDKJDBC/ODBC微服务

模型算法库机器学习可视化建模

模型算法库机器学习可视化建模

人工智能

数据总线

数据处理

数据分析

数据迁移

Hive

HiveHbase

数据

HDFS

关系型数据库

其他

数据

库

内存

库

数据治理

数据标准

数据质量 元数据管理 数据地图数据资产

数据采集

数据采集

实时采集离线采集

结构化数据采集非结构化数据采集

数据安全

数据安全

权限管理安全接入 数据加解密数据分级 日志审计 统一认证

2

Part

产品定位

随着大数据时代的不断发展，各大企业、政府纷纷建立大数据中心，数据分析、应用的脚步越来越快，在此过程中，异构数据源的使用、关联分析的需求越发旺盛，如何快速、便捷地采集异构数据至大数据平台，成为数据采集汇聚的关键。

我司提供的数据汇聚产品主要功能是将各种存储方式的数据源接入到大数据平台或者其他数据仓库。通过提供可视化界面，帮助用户轻松完成采集任务创建、运行，并实时提供任务监控，使用户随时了解自己的采集任务状态。

采用主流的流式计算引擎作为产品的主要采集框架，提供离线采集、实时采集两种方式，满足用户不同的采集需求。

02组件灵活提供多种基础数据源组件，处理组件，目标组件

02

组件灵活

提供多种基础数据源组件，处理组件，目标组件，也可根据用户需求，任意拼装该些组件部署，更可为用户提供定制化组件的开发

03

实时监控

工具提供实时监控功能，

用户可随时查看采集任务状态，及时干预，避免数据漏采，少采

04

服务完善

专业的技术团队随时为用户提供技术支持工作，提供7*24小时专业服务保障

01

01

快捷易用

全流程可视化操作，拖拽式编辑工作流，配置采集信息，采集任务轻松灵活完成

可视化□数据源类型：?数据采集汇聚支持多种类型数据源的采集，如下表：文本类

可视化

□数据源类型：

?数据采集汇聚支持多种类型数据源的采集，如下表：

文本类

关系型数据库

其他

本地文件

Oracle

消息队列

FTP

SQLServer

Nosql数据库

SFTP

MySQL

协议类

□采集框架：

?通过Kakfa消息队列、Storm流式处理以及Spark-Streaming实时计算方式，实现实时数据采集；

?通过Flume实现批量数据采集；

□数据存储：

?提供主流关系型数据库以及HDFS分布式多冗余存储，支持动态扩缩容

□可视化：

?提供可配置数据源组件，处理组件，终端组件，用户可自定义工作流，实现采集任务

?提供任务监控供用户查看工作流执行情况，提供资源监控供管理员对系统资源进行整体把控

2

Part

数据存储

数据采集

数据源

FTP

FTP/SFTP

HDFS

HDFS

Kafka

Kafka

关系型

关系型数据库

Nosql

Nosql

本地文件

本地文件

HTTP

HTTP

……

……

?FTP?本地文件?

?FTP

?本地文件?HDFS

?kafkaV8

?关系型数据库

(oracle、mysql、

sqlserver、南大通用、武汉达梦等)

?hbase

?Flume?Storm?Spark?Flink

2

Part

?FTP

?本地文件?HDFS

?kafka

?关系型数据库(oracle、mysql、sqlserver、南大通用、武汉达梦等)

?Hbase?Hive?ES

数据采集产品——配置化采集2Part

数据采集产品——配置化采集

2

Part

STEP1.选择组件STEP2.配置信息STEP3.执行工作流