大数据平台设计方案.docx

大数据平台设计方案

大数据管理中心发展背景

为建设卓越全球城市，实现政府治理能力现代化目标，由市大数据中心牵头，在政务公共数据管理和互联网政务服务方面采取了一系列的实践工作。根据《市公共数据和一网通办管理办法》要求，前期已在“一网通办”的政务服务领域进行了信息化项目建设，在提升了政府治理能力和公共服务水平的同时，也产生了汇聚全市政务公共数据，探索政务服务领域应用的需求。

市大数据中心作为全市政务数据的主要管理单位，承担着政策本地化落实、政务数据交换、大数据应用研究、信息化建设运维以及其他数据相关的工作职责，从中心成立之初便开始研究政务数据管理和应用的方法，去年年底探索了以政务数据交换共享为核心的实践，但随着对中心职能的理解加深，我们认为中心不仅作为全市政务数据的“枢纽中转中心”，更应该成为各政务服务条线领域的“归集管理中心”，为本市的经济活动、公共事业、社会关系、人员密度等各城市管理领域提供数据层面的最大支撑。

规划公共数据发展路线支撑城市服务能效提升

整体共享协同

公共数据共享

社会数据协同

条线业务协同

数据服务开放

数据科学管理

数据完整归集

数据实时同步

资源目录健全

数据全面治理

城市高效运行

应急事件响应

事件风险预防

精准城市服务

社会治理

宏观经济

市场监管

生态保护

大数据共享交换平台建设与使用情况

大数据中心自去年开始，根据整体规划启动了市数据共享交换平台项目的建设，并于2019年1月开始正式进行全市范围的试运行。

平台建设内容包括：

1、总集成及部分应用开发：平台集成门户及整体平台的基础功能菜单级整合；

2、数据治理子系统：包含数据交换模块和服务管理模块，实现数据资源目录及三清单的管理，并提供市级数据库的对外发布利用；

3、数据共享交换子系统：实现数据交换引擎、统一调度引擎、任务管理、数据桥接等功能，以及数据湖数据的存储管理、共享与交换；

4、数据质量监管及支撑子系统：实现数据质量管理功能，包括数据质量规则制定、数据质量稽核、数据质量问题闭环管理；

平台接入52个委办的公共数据，每月16亿条以上，数据总容量在176.0TB，人口库预计46.75TB，法人库预计1.

平台接入52个委办的公共数据，每月16亿条以上，数据总容量在176.0TB，人口库预计46.75TB，法人库预计1.78TB，空间地理库预计7.99TB，电子证照库预计91.05TB。

“各行政区系统”的经过初始治理的原始数据；并存放经过一系列清洗、转换、加载、治理步骤后的高质量的政务数据资源，为城市管理、公共服务等提供数据来源；

前期平台建设问题分析

在数据共享交换平台项目试运行期间，随着数据存储量的增长、数据交换共享需求量的增加，逐渐发现平台存在一些问题。

数据共享时效性要求无法满足业务需要源端数据标准各异

数据共享时效性要求无法满足业务需要

源端数据标准各异，加工存在技术壁垒

?前期平台未规划数据实时采集技术，无法支撑高效业务协同?数据治理层面未考虑国家资源平台建设要

?前期平台未规划数据实时采集技术，无法支撑高效业务协同

?数据治理层面未考虑国家资源平台建设要求，需重新设计系统功能实现

?现有平台应用支撑能力较为薄弱，容易形成数据沼泽

全生命周期安全管控能力有待提升城市管理数据缺乏

全生命周期安全管控能力有待提升

城市管理数据缺乏，精准服务无法开展

?

?数据安全管控仅考虑部分安全应用，数据

全生命周期的安全管控存在短板，需整体提升安全防护能力

?数据共享和数据开放能力不全面，开放门户使用价值不高

?未规划主题/专题领域的数据综合应用，应用创新动能不足，需进行补充完善

本期平台建设目标分析

源端数据标准各异，

源端数据标准各异，加工存在技术壁垒

缺乏实时归集技术，数据共享协同低效

城市管理数据缺乏，精准服务无法开展

全生命周期安全管控能力有待提升

建设目标

?聚：推进人口、法人、空间地理库数据源整合，促进电子证照库对接利用。逐步推进社会数据、互联网数

据等采集汇聚

?管：构建一站式数据资产可视化管理，通过对数据资产的血缘谱系和信息资源目录的统一管理，实现数据

的全过程管理，以及各环节安全监管