大数据背景下的多来源数据融合研究.pdfVIP

大数据背景下的多来源数据融合研究--第1页

统计理论与实践

大数据背景下的多来源数据融合研究

唐 伟 翟国锋 谷红娟

121

（1.石家庄市统计局，河北石家庄050011；2.吉贝克信息技术（北京）有限公司，北京100355）

摘要：石家庄统计大数据平台融合了不同行业、不同系统、不同结构的不同数据，通过数据仓库和大数据Hadoop构建理

论，实现了调查信息采集、多主题与多维度数据挖掘、跨部门数据关联对比分析、经济运行监测预测和风险预警。本项目依据石

家庄统计大数据平台建设的经验，对系统建设过程中涉及到的数值数据、文本数据、图片数据等多来源数据，阐述大数据环境下

数据融合的机制、交换标准、数据规则、管理模式和实现手段，为统计大数据运行机制的建立提供参考。

关键词：大数据；多来源；数据融合；石家庄

基金项目：2017-2018年度河北省统计科学研究计划重点项目“大数据背景下的多来源数据融合研究”（2017HZ12）

中图分类号：TP391     文献标识码：A

文章编号：1674-537X（2019）05.0018-08

前言从技术发展方面看，随着数据量发展到PB、EB级甚至更

（一）大数据时代政府统计的新格局大，对数据进行更快的处理和分析的需求，数据技术已从早期

近年来全社会数据资源迅猛增长，据权威估计，到2020的单机处理单一类型数据发展到大数据的专用计算机、异地分

年全世界所产生的数据规模将达到今天的44倍。数据已成为布式计算机集群处理多类型数据，推动了多来源多类型数据的

与自然资源、人力资源同样重要的国家基础性战略资源，成为处理和分析、数据网络等复杂结构数据的分析、秒级时间分析

促进经济增长和组织转型的新动力，成为提升政府治理能力的等通用技术以及面向领域的各种应用技术的快速发展，特别是

新途径。党的十九大报告强调，应推动互联网、大数据、人工以HDFS、GFS、MapReduce、Storm、MongoDB为代表的一批

智能和实体经济深度融合，而政府统计工作担负着为国家宏观大数据通用技术和开源项目成为大数据技术的发展趋势。

经济分析、经济决策及政策制定提供数据支持的重要使命，如从技术条件方面看，大型IT企业已进入大数据领域。传

何深度认识大数据，利用好大数据的统计、预测及智能决策等统数据库企业、数据分析企业包括数据仓库、多维分析、数据

功能，是新时代新技术背景下面临的新课题。挖掘等工具公司在大数据技术或市场方面各占据了一席之地。

政府统计发展已经形成了新的格局。第一，政府统计范如淘宝、百度、谷歌、Facebook等大数据资源企业优势显现，

围日趋扩大和深入，我国统计系统的综合统计、政府各机构的大型IT服务公司如甲骨文、IBM、微软、SYBASE、易安信（EMC）、

部门统计、非营利机构的公共统计共存，呈分工协调有效合作英特尔等企业陆续推出大数据产品和方案。

的发展态势。第二，政府统计在依据统计法保护个人和单位隐（二）统计部门多源数据融合研究的必要性

私前提下，通过科学手段逐步扩大微观数据的开放，公共统计长期以来，政府统计工作面临诸多问题，一是来自基础数

数据的层次和容量不断扩大。第三，政府统计越来越在财务数据的问题，基础数据来源单一、重复调查、数据间相互验证性

据、金融数据、生态环境监测数据、行政记录等交叉工作中完薄弱，使得统计数据质量较差，为经济决策提供预测预判的基

成。第四，政府统计从事后统计，逐步向事中和事前统计发展，础贡献能力较弱；二是大量数据藏身于互联网和各种数字媒介

统计方法从调查事后的硬统计，向包括问卷调查等主观测度潜中，难分真假、难