智慧城市运行大数据平台项目需求分析和项目建设的必要性.doc

智慧城市运行大数据平台项目需求分析和项目建设的必要性 问题和目标分析 存在问题 目前，由于通过对城投集团内部的五家公司业务系统、数据资源调研时发现，在项目建设时均经历了一个较长时期内按照各自的规划、建设目标、功能需求、投资强度和技术现状等因素分阶段逐步实现的，因此造成了条块分割，不能互联互通，资源不能共享等问题，主要表现在： 数据难以利用; 系统孤立形成信息孤岛; 缺乏公共服务与决策支持; 信息无法共享与交换; 统计口径不一致; 数据价值难以体现; 缺乏监控与预测。 由于缺乏统一规划，所建纵向网络和应用系统大都是以行政系统为背景和依托的，各部门按照各自的规范、标准、需求构建不同的业务应用系统。各应用系统中信息的种类和数据存储格式差异很大，内部之间和各应用系统之间信息共享程度低。因此，在平台建设中，应提供标准的、统一的信息表示和传输方式，提供一个基础信息交换平台，使信息在系统内有序流动，实现各公司之间的数据互联互通和信息资源共享。应满足西安城投集团的业务信息资源的存储和管理服务，也满足数据交换服务，是西安市城市运行管理服务的大数据中心。在西安城投集团同级各部门间、各子公司相互间、各级政府和公众间实现城市运行数据交换，是网上城市运行公众数据交换中心，更是城市运行管理决策支持中心，进行数据挖掘、分析、比较，提供辅助决策信息。 目标分析 通过对项目前期调研中发现的问题，可以通过以下技术和行政手段进行解决，从而达到项目既定目标。 进行数据分类：通过对城投所属各公司的数据资源进行汇总分类，使同一类型的数据汇集到同一个数据中心。从而达到数据快速汇集统一管理的目的。 建立数据接入备份系统：对已有接口规范的业务系统数据，在不影响现有业务系统正常运行的前提下直接接入数据。对没有数据接口的业务系统，通过建立大数据接入备份系统接入数据，保证数据的接入可行性和业务系统运行的安全性，同时为数据提供方提供数据灾备服务。 设置数据接入中间件：建立完善的数据清洗脱敏机制，保证数据的合法性，将涉及隐私的敏感数据清洗过滤掉，以解数据拥有者的后顾之忧。 业务功能、业务流程和业务量分析 应用功能分析 数据中心业务功能：负责汇集、清洗、整理、存储城投集团各企业的数据资源。确保数据汇集过程中已经对敏感的隐私数据进行脱敏处理，并将同类型的数据资源进行整理。同时保证数据资源存储的安全性。建立科学、统一的对外接入的接口规范。 城市运行体征平台业务功能：将汇集后的数据进行整理，抽取城市运行体征的相关数据，按照平台使用者的需求，提供相关的数据参考演模型。帮助决策部门对新政实施效果的推演；管理部门对应急预案的管理；安全部门对突发事件的处置。 信息共享平台业务功能：向信息需求者提供数据共享交易服务和数据挖掘分析服务；向信息订制者提供商业信息定向推送服务。向市民提供突发时间预警信息。 应用流程分析 基于各行业汇集后的数据，建立三个业务平台。三个业务平台的业务流程如下所示： 应用业务量分析（请自行分析现有各业务的数据量） 信息量分析与预测（请自行分析） 系统功能和性能需求分析 系统功能需求 数据交换与开放需求 抽取数据库中的数据除了进行数据挖掘之外，还可以作为数据源对外提供一个统一的数据交换接口。 定义各子公司基础数据、业务数据和服务数据等数据源。 业务数据按照各自的业务规范或相关国家、行业标准定义数据交换格式。 数据交换接口采用Web Service和http数据文件等方式传输，小数据量通过Web Service传输，大数据量通过http文件传输，并支持文件压缩。 数据接口分为查询类、验证类，数据交换类等不同的业务类型。查询类支持各种数据的明细查询，验证类则不给出明细数据，仅仅给出验证结果（如查询某企业的检验结果状态，仅仅给出具体数据）。数据交换类分为数据索取和数据提供，可以通过http文件传输，适合大量数据交换，支持XML、TXT、JSON等多种通用格式，也可以选择各种数据库系统的备份文件等二进制格式，只要接口定义规范有明细的定义即可。 数据交换接口具有完善的身份验证和数据访问安全控制体系，仅允许授权的数据访问。 数据开放分为三类，Web Service接口服务，网站服务，手机App服务。 Web Service接口服务以可编程接口方式对外公开安全访问许可的数据，客户可以通过编程方式直接调用数据，比如天气信息。 网站服务则通过门户网站的公告栏，数据开放板块等开放数据，在安全访问许可的条件下，允许互联网用户直接在网站上查询需要的数据。网站后台应当调用数据交换服务，实现在线式数据公开服务。 手机App的功能和网站服务完全相同，仅仅是表现形式从网站变更为手机App模式，更方便移动用户的使用。 数据公开具有完善的身份验证和数据访问安全控制体系，仅允许授权的数据访问。 决策数据抽取服务 可以一个