水务大数据模型设计.pdfVIP

勿以恶小而为之，勿以善小而不为。——刘备

1.1.1水务大数据模型设计

水务大数据总体技术架构

水务大数据基于本次工程采购的数据集成平台、大数据平台实现水务业务大

数据管理。数据集成平台完成数据的汇聚与采集，数据治理工具对采集后的数据

进行治理，形成标准规范的水务大数据主题库存储在大数据平台上，然后以API

的形式开发给应用层进行数据的使用与分析。具体水务大数据架构图如下：

水务大数据技术架构图

水务数据采集数据源包括各市政单位数据、区水务局数据、水务局内部数据

及给排水企业数据等相关数据，数据的类别包括结构化数据、非结构化数据和半

结构化数据，数据格式包括关系数据格式、XML、JSON等Web服务格式，文

件、视频、图片等格式。

集成层使用大数据采集组件、文件接口、消息中间件、API等进行数据采集，

并提供文件导入、流式数据采集、Kafka接入、各类Socket接口、HttpAPI等多

勿以恶小而为之，勿以善小而不为。——刘备

种接口适配方式；采集后数据经过数据治理工具进行治理和融合，并通过统一的

平台对采集日志、采集协议及接口进行综合管控。

数据存储与治理层使用分布式并行数据库MPPDB组件、分布式存储HBase

组件、分布式SQL引擎Hive组件、分布式文件系统HDFS组件相关的结构化数

据存储和非结构化的数据存储组件，利用Redis建立数据缓存，以供高效服务；

使用YARN对资源进行统一管理，使用Flink/Storm进行实时处理，使用Spark

进行内存计算，使用MapReduce进行离线计算。通过以上各大数据高性能组件

为水务各种监测场景、各种数据分析场景及各种应急调度场景等提供高性能的数

据采集、数据计算和数据存储。

服务层基于市政大数据平台提供的多维分析Kylin组件、机器学习AI组件、

即席分析SparkSQL组件及第三方工具为大数据应用服务提供技术支撑。满足水

务大数据各种数据共享交换服务、数据目录和资源目录的管理和检索查询，为各

种水务业务大数据场景分析提供技术支撑。

数据使能层通过APIGateway进行数据服务API的管理，调度，发布以及路

由，上层应用通过API进行数据的访问。

水务大数据总体逻辑架构

水务大数据基于政务云和政务大数据的总体技术架构，采用大数据和微服务

一体化设计的技术路线，对水务内部和外部提供数据服务，支撑各水务业务应用

和大数据分析场景应用需求。水务大数据的总体架构如下图所示，主要分为：数

据源(数据感知层)、数据集成层、数据存储与治理、数据服务层和数据应用层。

勿以恶小而为之，勿以善小而不为。——刘备

大数据总体架构

数据源层是对水务感知采集数据、水务业务数据、市政各单位数据、区水务

局数据及给排水企业数据等，数据类型包括结构化数据、非结构化数据和半结构

化数据，数据集成格式包括XML、JSON、RESTful等WEB服务格式、文件、

视频、图片多媒体等格式。各数据源通过规范的集成格式统一进行归集和整合。

数据集成层通过本次工程购置的数据集成平台分别对各种数据源数据进行

汇聚接入，提供多种汇聚集成方式，包括服务API接入、数据库、消息、文件

等接入方式，进行数据源管理、数据接口管理和采集任务管理等。

存储与治理层：通过大数据平台HD与MPPDB分别存储非结构化数