01 XX省生态云（生态环境大数据）平台项目-概要设计-大数据管理平台 V2.0.docx

文档编号：

版本号：

福建省生态云(生态环境大数据)

平台项目

大数据管理平台

概要设计说明书

编写人：

审核人：

福建星云大数据应用服务有限公司

2017年3月

变更记录

序号

修改状态

修改页码及条款

修改人

审核人

修改生效日期

注：

修改状态为A一增加，D一删除，M一修改

对该文件内容增加、删除或修改均需填写此变更记录，详细记载变更信息，以保证其可

追溯性。

提交用户时，将此变更记录删除

目录

1.引言 1

1.1文档目的 1

1.2项目背景 1

1.3参考资料 2

1.4术语定义 2

2.总体设计 3

2.1需求规定 3

2.1.1数据需求规定 3

2.1.2功能需求规定 4

2.1.3性能需求规定 13

2.1.4用户对象分析 13

2.2运行软件环境 13

2.3基本处理流程 14

2.3.1系统流程 14

2.3.2数据流程 14

2.4结构 15

2.4.1总体架构 15

2.4.2技术架构 16

2.4.3部署架构 18

2.4.4功能结构 20

2.5功能需求与程序的关系 20

3.接口设计 22

3.1接口设计原则 22

3.2内部接口 22

3.2.1数据审计接口 22

3.2.2分区管理接口 23

3.2.3元数据管理和同步接口 23

3.3外部接口 24

4.功能模块设计 25

4.1数据集成和接入 25

4.1.1数据批量导入 25

4.1.2实时数据接入 27

4.2大数据存储管理 28

4.2.1时序数据存储 28

4.2.2半结构化数据存储 30

4.2.3非结构化数据存储 32

4.3大数据分析支撑 33

4.3.1实时流数据处理 33

4.3.2并行化分析引擎 34

4.3.3机器学习算法库 35

4.4分析服务 39

4.4.1分析任务管理 39

4.4.2分析任务调度 40

4.4.3分析结果管理 41

4.4.4统计分析模型库 41

4.4.5分析服务RESTAPI 42

4.4.6技术架构和技术路线 43

4.4.7外部依赖 43

4.4.8HPC协同调度 43

4.5数据工具 43

4.5.1数据邦联 43

4.5.2数据可视化 44

4.5.3数据模型管理 45

4.5.4数据生命周期管理 45

4.5.5数据画像 46

4.5.6数据质量管理 47

4.6系统运维 48

4.6.1资源规划 48

4.6.2启动管理 48

4.6.3系统性能监控 49

4.6.4应用性能监控 50

4.6.5性能告警 51

4.6.6故障诊断 52

4.7安全管控 53

4.7.1系统安全管理 53

4.7.2数据备份 53

4.7.3使用痕迹追踪 53

4.7.4数据权限管理 54

4.7.5数据加解密 56

4.7.6数据分区和交换 56

4.7.7数据安全删除 58

4.8平台注册 5