哈密市大数据平台建设初探.doc

哈密市大数据平台建设初探 　　摘要：本文从数据平台的主要功能入手，初步解决了数出多门的矛盾局面，分析了“互联网+政府部门”的迫切性，结合互联网、云计算、大数据发展等相关政策，指出了建立横向扩展到“边”、纵向延伸到“底”的立体、多维的统计架构。详细讲述了平台的“六大原则”：系统的安全性和稳定性原则、兼容性和可扩展性原则、可维护性原则、高效快捷性原则、易用和操作性强性原则，充分反映数据平台的“应统尽统”的强大优势 关键词：大数据平台 部门统计 互联网+统计 数据处理 中图分类号：TP3 文献标识码：A 文章编号：1009-5349（2017）07-0061-01 随着哈密经济日新月异的发展，党和政府了解经济的发展趋势更加紧迫，对统计调查数据质量也高度关注。统计数据对于宏观战略政策的制定、当前区情的分析尤为重要，但常规统计数据越来越不能满足政府和人民日益增长的需求，建立一套融合各部门数据的处理分析平台势在必行 2015年新疆维吾尔自治区统计局开始全面深化统计改革发展，全力推进现代统计体系建设，建立数据信息共享机制、构建新疆统计数据中心、积极探索大数据在政府统计中的应用 2016年哈密市统计局通过深入?W习领会自治区统计精神实质，实地考察成熟地区的平台应用，确定建设哈密市统计大平台。为了满足目前及未来几年系统稳定及扩展的需求，在建设本系统时本着统筹规划、分步实施的宗旨进行整个系统的构建，主要遵循以下设计原则： 一、安全性原则 大数据的发展进一步扩大了信息的开放程序，随之而来的访问量也成几何倍数的增长，系统平台的安全性和数据安全是第一位的。（1）是防止APT（高级持续性威胁）攻击，针对APT的攻击特征难以提取、单点隐蔽能力强、攻击渠道多样化、攻击持续时间长、攻击空间路径不确定等特点，系统平台必须设计具备实时检测能力的沙箱方案（原理是将实时流量先引入虚拟机或沙箱，通过对沙箱的文件系统、进程、注册表、网络行为实施监控，流量中是否包括恶意代码）、异常检测方案、全流量审计方案。（2）用户访问权限控制。平台针对的用户繁多，严格按照用户需求和密级等级设定差异化访问权限，不同级别的用户访问权限和密级程度都有所不同，管理者（ADMIN）为最高级权限：包括有登录平台访问、修改平台流程、平台发布消息、设置下级权限的权利；次高级为部门管理者权限：包括登录本部门窗口、录入、修改、发布本部门信息权限；最低级权限只有上报录入权限 二、稳定性原则 一个系统的稳定性，通俗来说，就是它从安装到加载启动运行直到结束的整个过程尽可能不出现异常、错误。稳定的生存能力是体现一个系统的成功，所以平台从开始设计架构、应用开发和初步演示到投放应用时，对系统结构、语言算法、逻辑条件、技术措施、软硬件平台和维护响应能力等方面进行全方位的统筹，确保系统较高的性能和较少的故障率。必要时可采用双备份或支持异构服务器之间跨越广域网的数据远程实时复制 平台设计初期就准备了周详的事前准备，并且分析平台运行时可能受到最大冲击程度和受冲击后的恢复策略，结合目前最先进的信息技术，提出最佳的恢复方案，在系统备份计划建立后，还反复假想测试，进行时时调整、改进，确保平台运行的稳定性 三、兼容性原则 统计数据共享平台的宗旨是全方位覆盖经济数据提供部门（市统计局、发改委、国地税、工商、经信委、质监、科技等），实现数据收集零死角，考虑到平台现有和未来需要与其他相关上百个部门、系统的对接需要，在建设过程中已预先规划好数据通信及共享接口的设计 在经济运行提供全面数据支持的同时，深入挖潜各级部门据业务需求，利用大数据技术，进行定制化的信息共享服务，提高数据利用率，提高工作效率，压缩政府开支，降低行政成本，有效推动政务工作开展，提高政府部门决策的科学化水平、服务效率和社会管理水平 四、可扩展性原则 软件设计尽可能模块化、组件化，并提供配置模块和客户化工具，使应用系统可灵活配置，适应不同的情况。系统的要素、编码、功能和数据库结构都必须易于扩充，为以后的功能扩展保留接口，以满足系统进一步的发展和系统建设的需要。同时系统的升级充分考虑与现有各应用系统的版本兼容问题，尽可能保证系统有更长的生命周期 为保证平台的开放性，平台构建中使用合适的软件平台，基于业界开放式标准，支持平台建设中涉及的各种网络协议、硬件接口、数据接口等二次开发，同时支持英文等常用外文版的编辑与发布，为未来的平台扩展奠定基础 系统功能最大限度贴合客户需求，系统在设计思想、系统架构、采用技术、选用平台上均需要具有一定的先进性、前瞻性，考虑一定时期内业务的增长 五、高效性、易用性原则 整个系统采用规范化设计流程和高效的系统架构，可有效避免数据冗余等现象发生，具有较高的运转效率，从