投资统计大数据处理关键技术.docVIP

投资统计大数据处理关键技术 　　摘 要 　　大数据主要包括结构化数据、非结构化数据两部分，目前已具备应用价值大、数据量大、速度快等特点，这些特点对今后投资统计数据处理技术将带来颠覆性变化，为此，本人结合从事多年统计数据处理经验，重点阐述投资统计大数据在数据采集、存储和分析涉及的主要关键技术。 　　【关键词】投资统计 大数据处理 关键技术 　　本人从事多年统计工作，对投资统计大数据有着天然的亲近感，投资统计就是搜集、整理、分析、应用数据。目前投资统计改革正在有序开展，我们要抓住改革契机，充分利用投资统计大数据具有海量、实时、多元处理特点，深刻解读数据，创新研究思路，提高投资统计数据处理能力，提供投资统计分析具有数据全、分析深、研究透、成果新、有理有据的可行建议，成为党政府、部门决策的重要参谋。 　　1 概述 　　1.1 大数据 　　投资系统中数据有三种类型分别是项目投资管理数据、联网直报房地产投资数据、规下投资抽样数据。根据投资数据内在结构，可以分为两类，一类是结构化数据，统计系统的企业原始数据可以通过二维表形式反映的数据；另一类是非结构化数据，不能以二维表的形式来反映的数据，如文本、图片、音频、视频等产生的数据。 　　与传统投资统计不同，投资统计大数据可利用遥感技术和GIS技术进行动态监测，能够获取定期数据，对现有投资统计业务系统进行分析，主要表现在：一是为了能够对投资统计系统运行获取定期数据，要对投资项目进行定位，每个月节点都会产生大量的数据。二是PDA设备对投资统计项目样本点的经常性变化。三是为了能够把握重大项目投资进度，要求对投资统计系统运行中相关信息定期变样采集。四是投资统计数据能够定期与发改、住建、税务等部门数据共享和数据比对。 　　1.2 特点 　　投资统计大数据具有以下特点：一是数据量大。随着大数据的发展，投资统计数据TB级逐步上升到PB级。二是类型种类多。现在党政领导对投资统计数据需求越来越准，要进行处理结构化和非结构化投资统计也越来越多，才能够满足需求。三是利用率低。如在定期监测重大投资项目过程中， 大部分监测过程中的数据在正常范围之内，而非常少的监测异常数据是非常有用的，特别是投资项目数据异常值（如极大、极小值），要通过这些数据对比验证，数据是否正确，因此有利用价值的数据占总数据的比例少。四是处理要快。处理投资统计大数据速度要求快，可以利用小型计算机和云技术在非常短时间内能够分析数据，为党政领导决策提供高质量的数据作为依据。 　　2 关键技术 　　2.1 采集技术 　　大数据的采集指利用很多个数据库同时接收，从客户端的传输来的数据，一般用户可以通过这些数据库，在客户端能够达到一般查询和处理过程。 但是在大数据的采集过程中，最大的难点数据并发高，很有可能会同时成千上万的用户来进行访问和操作，采用在采集端部署大量数据库作为支持，能够有效、科学地在投资数据库之间进行负载均衡和分片，是数据采集技术的关键环节。 　　各类大数据分部不同的部门或项目，给数据的收集带来一定难度，采用关系数据管理模型，运用Google 文件系统GFS 技术，具有纵向扩展功能，应对数据采集并发数高，也是确保实现高效获取大数据的核心。 　　2.2 传输、存储技术 　　投资统计系统采用联网直报平台，运行时会实时产生各式各样的原始数据，特别定期用投资遥感监测中数据也会产生更多的数据，经过日月积累海量的数据，会给投资监控设备及数据传输、存储系统造成沉重的负担，并对投资统计系统发展造成很大的影响。 　　目前投资统计系统数据的传输，为了减轻数据传输量，大部分采用数据压缩的方式，可以应用到投资统计数据传输，大大提速整个系统数据的传输，从而有效降低数据储存的空间。若没有建立有效批处理模型，在压缩、解压过程中仍然占用系统资源较大，浪费也很大，因此更急需建立有效的批处理模型是重要的。现在普遍采用MapReduce批处理模型，能够在平常配置的计算机上实现并行化处理，且能够分割输入数据，在计算机组成的集群上统一调度，确保计算机的集群之间顺畅的通信。 　　投资统计大数据存储一般采用分布式保存方式，具有性能可靠性，可以解决海量数据的存储问题，可有局限性，如投资统计系统运行时，随时产生实时性数据，处理过程中还是不能够全面应对，最好要根据不同类型的大数据性能先分析，然后再进行实时分类存储。特别是投资遥感监测系统中非结构化数据占大数据比重非常大，需要解决大量非结构化数据转变为结构化数据处理能力，是投资统计系统在大数据处理技术解决的关键问题。采用GFS的分布式文件系统主要对海量大文件而设计，而海量小文件可以用Haystack系统，可以用多个逻辑文件共同使用一个文件，解决小文件存储的问题。 　　2.3 实时处理技术 　　解决投资统计