大数据时代背景下统计数据质量的评估方法及适用性分析.docx

??

?

??

大数据时代背景下统计数据质量的评估方法及适用性分析

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

祝君仪

（上海大学理学院，上海200444）

[摘要]阐述了大数据时代的统计数据特征和质量准确性需求，分析了包括逻辑规则检验、核算数据重估、计量模型分析、统计分布验证、调查偏差评估、多维评估延伸六种评估方法的概念特征以及适用性。为了适应大数据时代的发展需求，需要加强对统计数据质量评估方法的研究力度，进一步完善评估体系，实现中国统计研究的新变革。

[关键词]大数据；统计数据；准确性；评估方法；适用性

[DOI]10.13939/j.cnki.zgsc.2015.29.041

1大数据的出现与应对

1.1大数据的概念特征

大数据的概念从字面上可以理解为庞大的数据集合，当然，如今的数据早已不局限于单一的数值变化，而是在数字网络概念中彼此交叠幂次增长的非结构化信息统筹。根据IDC报告，我们可知全球数据量的惊人变化，2009年80万PB，2010年增幅达50%，达到了120万PB，至2011年跃至190万PB，激增的数据量印证着大数据时代的到来，见下图。

虽然对于大数据还没有约定熟成的理论定义，但是在本文中我们不妨直观地将其理解为涵盖数值数据和非结构化数据，并对其进行分析整合的海量数据集。

大数据的几项具有辨识度的特征，首先是数据集在体量上应超越TB数量级，其次是数据信息应多样化，有数值数据，也有像是图片、视频、音频等非结构化数据，再次是数据的产生、采集和处理应快速及时，最后是数据集整合的数据信息应具有全面性和有效性。

1.2大数据对统计研究的挑战

大数据的庞大数据体量，快速增长处理需求，多样化全面性数据整合等现实情况都让统计研究面临着巨大挑战。传统的单一维度的样本抽查的研究分析模式已经不足以保证统计数据的准确性。因此，我们不仅要扩大研究分析的样本量保证统计结果的客观性和真实性，还要通过增加反馈信息的呈现路径，激发目标群体的新型互动模式，将文字、图片、视频、音频等都纳入数据库，从而增加数据维度，获取高品质海量数据，实现统计研究新变革。

2大数据时代背景下统计数据质量的界定

2.1统计数据质量的含义

统计数据质量的核心在于其准确性，在大数据时代背景下，统计数据质量还需考量统计目的，即满足统计目的的具有准确性的统计数据呈现。

2.2统计数据质量的特征

根据上述统计数据质量的含义，我们可以提炼出有关大数据时代背景下统计数据质量的两点特征。第一，是针对数据内容，应在客户接受范围内控制误差，保证数据采集处理的快速及时，并符合统计目的。第二，是针对数据呈现，要有规范性的阐述，保证统计数据的口径计算等采用相对一致的方式，表达完整，直观易懂，尽量避免歧义冗长。

3各类统计数据质量的评估方法及适用性分析

3.1逻辑规则检验

逻辑规则检验法，是宏观的针对总量数据的一种评估方法，即根据统计数据中各个指标之间相互作用，彼此粘连的内在逻辑关系，来衡量测试数据的真实性和可信度。

由于这种逻辑规则检验法是基于传统的统计理论，且可操作性强，易被客户理解接受，所以在实际统计数据评估中应用广泛，常被用于政府统计部门的统计工作。但是，这种方法存在明显漏洞，因为其检验规则过于单一，只要不出现重大逻辑冲突则推论出数据可信，加上即使出现了逻辑矛盾，仅通过比较无法获知问题所在，无法确定问题数据的准确范围无法规避结果的多重性，使得结果相对粗略草率。

根据以上分析判断逻辑规则检验法的适用性，我们可以将其作为初步评估统计数据的方法，在宏观经济统计数据中以它为基础，结合其他方法，进行复式检验，能够更好地得出统计结论，获得民众理解和认可。

3.2核算数据重估

核算数据重估法，是一种对于逻辑规则检验法延伸拓展的评估方法，即基于待评估数据的核算体系重新设定的统计指标，从而重新估算统计数据，然后对比现实数据，实现对统计数据质量的评估。这种评估方法的基本思路是一种在重新计量中的重复调查，扩充针对性的资料，将理想数据与实际数据对比分析，找出问题所在。

这种重估统计指标的评估方法与逻辑规则检验一样是在假设基础核算构成准确性的前提下进行的，而重设的统计指标与现实统计的指标方式仍具有差异性，因此其对比评估的结果只能作为一种参考性依据，能找到问题数据的大致方向但无法呈现具体错误情况。它尤其适用于判断CDP的增速准确性。

3.3计量模型分析

计量模型分析法，也是一种针对总量数据的评估方法，即在难以确定统计数据确切逻辑关系的情况下，建立模型评估，检查是否出现差异情况。这种方法的关键是建立模型，寻找异常点，在操作过程中需要先根据统计理论和统计目的建立相应的计量模型，再将样本数据进行相应估算检查，反复调整，多次代入评估，最终得出结论。