“大数据时代”转变统计数据生产方式问题思考..doc

“大数据时代”转变统计数据生产方式问题思考 ----“大数据”在经济统计中的应用 韩晓明 摘要：“大数据时代”的政府统计数据生产方式必须改变。本文仅在方法论范畴，主要讨论以业务核算、会计核算和统计核算的一些基本规律为前提，引入大数据概念及“联机分析处理”与“合作整合”数据处理方式，尝试改变政府统计数据生产方式的基本统计指标体系设计思路及数据加工方式。与现行统计及核算制度不同，旨在从“大数据”中挖掘统计指标数据，简曰：“先有数据后有指标”。案举改变工业总产值、工业增加值、固定资产投资额、建筑业总产值、商品销售额等总量统计指标（数据）加工方法；概要讨论GDP核算大数据背景下倒逼机制以及CPI、PPI、PMI城镇化率等统计指数指标大数据生产方式 1、转变统计数据生产方式的“大数据”思路 1.1、大数据概念及大数据分析处理方式概述 “数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。麦肯锡?。指数化增长的数据，从TB级别跃升到PB级别；结构化和非结构化且主要是非结构化数据类型的来源及分析处理，数字化地囊括了所有现象或事务；体量巨大的数据中，对你有价值的或只是极小部分；与传统数据挖掘有本质区别的实时分析处理“1秒定律”，使快速获得有价值信息成为可能等，概括了大数据概念与传统数据概念的本质差别。即：体量（Volume）大、多样（Variety）性、价值（Value）大密度低和速度（Velocity）快，简称大数据的“4V特征”。这，就是“大数据时代”----海量数据+方法论（[英]维克托·迈尔·舍恩伯格·库克耶，2012）。海量数据以结构化和非结构化数据库分布于全社会各个领域之中，形成不同类型的数据仓库，除了行政管理、经营业务和社会交往等过程必须形成外，不针对任何具体统计指标及其分析研究目的（没有专门指向）的数据生产是数据再利用的备用过程。 海量、高增长率和多样化的大数据分析处理的对象是业已存在于各领域各行业各单位的各种类型的数据库，突出体现在分析、挖掘、预测或推断上。与传统经济统计数据分析处理方式比较，突破了关系型数据库“联机事务处理On-Line Transaction Processing, OLTP)”分析和SQL查询模式，面对更庞大繁杂的多种类型的数据量（仓库），提出多维数据库及其多维分析处理概念，表现出更具决策力、洞见力和流程优化能力。在大数据分析处理方式中，交互式存储分析处理多维数据库技术是其最鲜明的特点之一。并且，其中的交互式“联机分析处理（On-Line Analytical Processing，OLAP）”， 是一套以多维度方式分析数据，弹性地提供积存(Roll-up)、下钻(Drill-down)和枢纽分析(pivot)等操作，呈现集成性信息的方法，多用于、商务智能或数据仓库。其主要的功能，在于方便大规模数据分析及统计计算，对决策提供参考和支持核心就是预测变因果关系，而相关关系。说知道“是什么”，而不知道“为什么”维克托·迈尔·舍恩伯格·库克耶2012）。“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”哈佛大学社会学教授加里·金）—实证分析转向自下而上的数据挖掘上必须有所突破；在统计方法上，采集、处理、分析和挖掘必须遵循大数据规律。尤其是，对于结构化数据以行政登记、业务核算和会计核算过程产生的数据为基本数据，对于非结构化数据转换为结构化数据或直接处理（简曰“先有数据后有指标”）；在调查方式上，除非必要（普查、抽样调查、重点调查），不直接面向总体单位收集数据，最大限度缩小直接面向对象的调查范围，减轻调查单位和统计机构负担。同时，把政府统计转向统计管理、统计指标数据加工和国民经济核算及经济统计分析（统称为统计数据生产）上来。从而，也彻底改变政府统计机构疲于应对诸多直接调查而浪费了社会海量经济信息资源的现状。 必然性于偶然性之中是统计学的认识基础。统计数据是描述与推断的科学理论与实践相结合的技术产物，是在偶然性中发现必然，概率的反映客观规律。正如C·R 劳所说，“在理性的基础上，所有的判断都是统计学”,经济统计不能例外。既然是推断，就不是“1+1=2”，而主要是利用即有社会经济数据资源或大样本数据的统计描述基础上，采用科学的统计推断方法生产统计数据；既然是反映客观规律，就要充分利用数据或数据库间本已存在的客观规律，建立数据或数据库间的联系去发现新的规律。大数据分析处理虽然不刻意追求因果关系，但是，数据或数据库间业已存在着的客观规律使看似复杂的不同事物或现象间通过相关分析而联系了起来，才使我们抽身于复杂的因果关系而取向系统内外相关关系的研究。因此，引入大数据概念及数据库