大数据平台系统总体设计说明书.pdf

大数据平台子项目

项目总体方案

第一章概述

1.1项目背景

1.1.1务应用数据是大数据的重要来源之一，对大数据平台需

求迫切

目前，应用系统已经是大数据的重要来源之一，多个部门之间，产生了大量

的结构化和非结构化数据，包括的XX、XX、车辆数据，人社的社保、劳动等数

据，XX计的XX生、计生数据，审批及工作XX产生的大量文档数据，以及安城

xx、执法所产生的海量的视频数据，构成了海量的、对城xx的方方面面具有重

要影响的数据，海量的数据需要有海量的存储进行支撑。

务数据具有公共属性，需要满足多个行业的应用需求，因而需要支撑多个部

门的应用及XX类应用，而传统的XX子务建设方式，各部门各自为，各地域的数

据也不能实现共享和协同，因而急需采用XX子务大数据处理台对基础数据资源

进行整合和挖掘利用。

1.1.2务大数据具有面向跨行业服务的特点和数据融合、比对

的需求

数据由于其历史原因，使得务产生的数据往往来自不同的部门，即使是相同

的数据，在不同的部门XX也有不同的产生途径，往往会造成数据的不准确和错

误，这也是经常出现“数据打架”的原因，因而需要充分利用大数据平台实现数

据质量的提升，而数据的清洗和跨部门数据之间的比对是实现数据质量提升的重

要手段。

同时，城xx管理和民生服务XX要求数据之间需要有更强的关联性，人、地、

事、物、视频、物联网数据只有深度融合，才能实现对XX的全生命周期、事件

的全过程进行管理，因而需要对不同来源的数据进行充分的关联比对和深度的融

合。

在务大数据处理台建设XX，提供了相关的工具，为实现海量数据的比对、

分析和融合提供了强有力的支撑。

1.1.3务大数据对数据的安全性和XX性要求高

务数据覆盖范围XXxx，包括XX数据、事件数据、XX数据、视频XX数据等，

有很多数据涉及到个人的隐私敏感数据、XX家安全数据，因而对数据的安全性

和XX性要求较高，而传统的XX子务的建设方式采用分散建设的模式，往往不能

采用周全的防护措施。

务大数据平台的建设，将完全依等级保护三级的标准进行建设，为务数据的

安全性和XX性提供支持。同时，大数据对数据采用分级管理，对XX数据、敏感

数据、隐私数据、一般数据采用不同的防护手段，进而实现数据的安全性和XX

性访问。

1.1.4务大数据具有分地域、分领域的多层次安全管理需求

XX子务、社会管理等各方面的数据的产生和使用具有较强的地域性，同时

数据的xx级不同，并且不同的行业对数据的需求也不一样，因而严格控制数据

的分地域、分领域分级管理，以适应务数据的安全管理需求。

1.2项目目标

台建设目标为：以完善的机制体制和全面的安全体系为保障，以弹性动态

的基础设施台为基础，以XX息资源数据的共享、交换、融合、服务为核心，以

多部门的业务流程协同为手段，打造可持续运营的、实用的、能够真正服务于社

会管理、城xx管理和社会经济管理的XX息化体系，并探XX息化与体制机制深

度融合和互相促进，为未来智慧城xx的建设打下良好的基础。

目标可分解为如下的子目标：

1)实现XX委、所有部门及临时设立的机构的数据交换，基础数据集XX、

清洗、整理，以合理的数据结构进行存储，打破部门XX息壁垒，解决XX息孤岛

问题。

2)形成一整套数据清洗整理体系，前期采集数据通过采集-清洗-反馈-修改-

再次采集数据循环，清洗整理，后期各个部门新生产的数据，都以几个数据主体

部门数据为基础，产生数据后，再采集清洗，逐步提升基础数据质量。

3)形成整套数据共享体系。数据采集清洗整理后，集XX到xx务大数据平

台，各个部门对已整理的数据提出数据要求，在实现数据安全、XX等多重权限

控制情况下，以多种方式提供给部门用xx。实现部门之间的数据共享、共用，

统一数据环境，减少部门之间数据差异，提高各部门数据质量，方便部门应用。

4)实现XX应用的建设。在完善的数据采集、清洗、共享体系下，在完整、

实时、权威及合理结构化的务数据融合服务台之上，实现xx域化整体数据应用，

为组织单位、公众群体提供完整的数据展现、全面的基础数据服务，以及为领导

决策层提供全面的、多层次的、直观的、实时有效的数据分析，解决当前部门应

用片面不完整，无法宏观把控的面。

1.3项目实施原则

XX