大数据平台系统总体设计说明书.doc

大数据平台子项目

项目总体方案

概述

项目背景

务应用数据是大数据的重要来源之一，对大数据平台需求迫切

目前，应用系统已经是大数据的重要来源之一，多个部门之间，产生了大量的结构化和非结构化数据，包括的XX、XX、车辆数据，人社的社保、劳动等数据，XX计的XX生、计生数据，审批及工作XX产生的大量文档数据，以及安城xx、执法所产生的海量的视频数据，构成了海量的、对城xx的方方面面具有重要影响的数据，海量的数据需要有海量的存储进行支撑。

务数据具有公共属性，需要满足多个行业的应用需求，因而需要支撑多个部门的应用及XX类应用，而传统的XX子务建设方式，各部门各自为，各地域的数据也不能实现共享和协同，因而急需采用XX子务大数据处理台对基础数据资源进行整合和挖掘利用。

务大数据具有面向跨行业服务的特点和数据融合、比对的需求

数据由于其历史原因，使得务产生的数据往往来自不同的部门，即使是相同的数据，在不同的部门XX也有不同的产生途径，往往会造成数据的不准确和错误，这也是经常出现“数据打架”的原因，因而需要充分利用大数据平台实现数据质量的提升，而数据的清洗和跨部门数据之间的比对是实现数据质量提升的重要手段。

同时，城xx管理和民生服务XX要求数据之间需要有更强的关联性，人、地、事、物、视频、物联网数据只有深度融合，才能实现对XX的全生命周期、事件的全过程进行管理，因而需要对不同来源的数据进行充分的关联比对和深度的融合。

在务大数据处理台建设XX，提供了相关的工具，为实现海量数据的比对、分析和融合提供了强有力的支撑。

务大数据对数据的安全性和XX性要求高

务数据覆盖范围XXxx，包括XX数据、事件数据、XX数据、视频XX数据等，有很多数据涉及到个人的隐私敏感数据、XX家安全数据，因而对数据的安全性和XX性要求较高，而传统的XX子务的建设方式采用分散建设的模式，往往不能采用周全的防护措施。

务大数据平台的建设，将完全依等级保护三级的标准进行建设，为务数据的安全性和XX性提供支持。同时，大数据对数据采用分级管理，对XX数据、敏感数据、隐私数据、一般数据采用不同的防护手段，进而实现数据的安全性和XX性访问。

务大数据具有分地域、分领域的多层次安全管理需求

XX子务、社会管理等各方面的数据的产生和使用具有较强的地域性，同时数据的xx级不同，并且不同的行业对数据的需求也不一样，因而严格控制数据的分地域、分领域分级管理，以适应务数据的安全管理需求。

项目目标

台建设目标为：以完善的机制体制和全面的安全体系为保障，以弹性动态的基础设施台为基础，以XX息资源数据的共享、交换、融合、服务为核心，以多部门的业务流程协同为手段，打造可持续运营的、实用的、能够真正服务于社会管理、城xx管理和社会经济管理的XX息化体系，并探XX息化与体制机制深度融合和互相促进，为未来智慧城xx的建设打下良好的基础。

目标可分解为如下的子目标：

1) 实现XX委、所有部门及临时设立的机构的数据交换，基础数据集XX、清洗、整理，以合理的数据结构进行存储，打破部门XX息壁垒，解决XX息孤岛问题。

2) 形成一整套数据清洗整理体系，前期采集数据通过采集-清洗-反馈-修改-再次采集数据循环，清洗整理，后期各个部门新生产的数据，都以几个数据主体部门数据为基础，产生数据后，再采集清洗，逐步提升基础数据质量。

3) 形成整套数据共享体系。数据采集清洗整理后，集XX到xx务大数据平台，各个部门对已整理的数据提出数据要求，在实现数据安全、XX等多重权限控制情况下，以多种方式提供给部门用xx。实现部门之间的数据共享、共用，统一数据环境，减少部门之间数据差异，提高各部门数据质量，方便部门应用。

4) 实现XX应用的建设。在完善的数据采集、清洗、共享体系下，在完整、实时、权威及合理结构化的务数据融合服务台之上，实现xx域化整体数据应用，为组织单位、公众群体提供完整的数据展现、全面的基础数据服务，以及为领导决策层提供全面的、多层次的、直观的、实时有效的数据分析，解决当前部门应用片面不完整，无法宏观把控的面。

项目实施原则

XX建设，使用。由XX搭建起各部门业务数据之间的共享交换通道，为部门的各种业务改革创新提供技术支持，将新技术运用于业务XX，保持务业务的与时俱进。

项目实施采用原型模型进行实施，先期各业务部门对新的技术体系和实现的效果没有清晰的认识，所以先进行基础台搭建，实现部分数据共享，部分数据融合，展示出数据互联互通之后可以实现的一些应用效果，业务部门借鉴大数据在示范应用XX的应用方式，结合自己部门业务现状，制定出相应的创新型管理制度和策，以及办公方式及服务方式。各部门将业务需求反馈与大数据平台及其各示范应用系统，以企共建的方式，实现务服务水的提升。

项目实施模式

（1）标准性、开放性

系统所采用的相