基于大数据的数据质量评估方法研究 .pdfVIP

基于大数据的数据质量评估方法研究

作者：周艳红

来源：《现代信息科技》2020年第08期

摘;要：大数据质量评估是大数据产业化道路上较为突出的挑战之一，故文章基于重庆工

商大学2019年研究生创新型科研项目和数理统计团队培养项目，对大数据质量评估方法进行

深入研究。首先，通过对大数据质量评估的现有方法进行简要综述，选取数据生命周期分析研

究视角;其次，分析大数据质量的影响因素，从原始质量、过程质量和结果质量3个维度确定

了15个大数据质量度量指标;最后，运用层次分析法和专家打分法建立大数据质量评估模型。

关键词：大数据;数据质量;质量评估;综合评价

Abstract：Bigdataqualityassessmentisoneofthemoreprominentchallengesontheroadtobig

dataindustrialization.Therefore，basedonthe2019graduateinnovativescientificresearchproject

andmathematicalstatisticsteamtrainingprojectofChongqingTechnologyandBusinessUniversity，

in-depthresearchonbigdataqualityassessmentmethodsiscarriedout.First，throughabriefreview

perspective;secondly，theinfluencingfactorsofbigdataqualityareanalyzed，and15bigdata

qualitymeasurementindexesaredeterminedfromthreedimensionsoforiginalquality，process

qualityandresultquality.Finally，abigdataqualityevaluationmodelisestablishedbyusingAHP

andexpertscoringmethod.

Keywords：bigdata;dataquality;qualityassessment;comprehensiveevaluation

引0;;言

当前，我国大数据产业蓬勃发展，但也面临着诸多挑战。例如，宗威和吴锋[1]指出，定

义的统一性、数据质量问题、数据存储技术、数据分析方法是大数据为中国甚至全世界企业提

出的挑战。李学龙[2]表示，目前大数据系统面临着冗余缩减和数据压缩、数据生存周期管理

等挑战，亟需评估大数据的数据质量。王宏志[3]指出，由于大数据具有“4V”特征，其更易产

生数据质量问题。

数据质量的好坏，将决定数据分析结果的有效性，并引导管理者作出相应决策。一旦数据

质量恶劣，必将对决策产生误导，对企业甚至社会造成不利影响。因此，亟需学界和业界加强

对大数据质量管理的研究，提出有效的评估方法和管理系统等。目前，不少学者围绕大数据质

量评估展开了研究，取得了一系列的研究成果，然而，大数据正处于发展上升期，其发展的同

时也产生了新的问题，给数据质量评估带了新的研究机遇。

为此，笔者基于重庆工商大学2019年研究生创新型科研项目和数理统计团队培养项目，

对大数据质量评估方法进行深入研究。现对大数据质量评估的现有方法进行简要综述，分析大

数据质量的影响因素，并采取适当的手段建立基于大数据的数据质量评估方法，以便用户对数

据进行判断和抉择，进而提高大数据的使用价值。

大数据质量评估方法1;研究现状

大数据1.1;及其质量的内涵

近年来，研究人员对大数据的研究愈发深入，大数据的定义与特征呈现多元化。例如，研

究机构Gartner[4]给出的定义是：大数据是需要新处理模式才能具有更强的决策力、洞察发现

力和流程优化能力的海量、高增长率和多样化的信息资产。彭宇[5]等认为，大数据是一种对

数据管理和处理技术要求更高，且能反映“大决策”“大知识”“大问题”的数据集。刘洋[6]指出，

大数据是常规软件及工作难以在规定时间内对海量数据进行收集、处理和整理时，需要依托全

新的处理方法才能实现更强的决策力、洞察力、高增长率以及多样化的信息资产。目前，在大

数据定义问