大数据平台深化设计方案[224页].pdf

大数据平台

深化设计方案

目录

1实现架构及功能逻辑1

1.1设计思路1

1.2系统架构3

1.2.1系统体系结构3

功能架构3

技术架构5

物理组架构9

1.2.2系统设计原则10

适用性原则10

标准化、规范化原则10

先进性原则10

实用性原则10

开放性原则11

安全性原则11

可扩展原则11

1.2.3功能模块描述12

重构社会治理大数据存储结构12

提供通用全文检索与分析应用工具12

面向社会治理应用的大数据服务能力13

2大数据中心应用模块详细设计13

2.1首页设计13

2.1.1概要说明13

2.1.2界面设计13

2.1.3主要功能详细设计14

2.2数据仓库设计26

2.2.1ODS数据库28

数据库命名28

表命名规则28

分区规则29

.1同步类型29

.2分区类型29

审计字段30

索引规则30

2.2.2DWS数据库30

表命名规则31

索引规则31

分区规则31

.1创建分区表：32

.2创建多级分区32

审计字段33

2.2.3DM数据库33

数据库命名33

表命名34

专题库34

.1列数据设计原则34

.2Hbase创建表35

.3HbaseRowKEY设计35

.4Hbase数据分散设计37

2.3标准管理40

2.3.1数据字典管理40

功能描述40

实现框架41

.1设计思路41

接口设计44

.1新建数据字典接口44

.2唯一性校验接口47

.3修改数据字典48

.4数据字典列表50

.5数据字典删除51

.6批量导入数据字典52

.7导出数据字典54

.8查询数据字典详情55

.9根据版本查询字典项56

.10标准文件下载58

2.3.2数据元管理59