数据分析前提:数据质量的基本要素.pdf

数据分析前提:数据质量的基本要素.pdf

  1. 1、本文档共4页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

数据分析前提:数据质量的基本要素

数据质量在数据分析中的重要性毋庸置疑,数据的质量直接影响

数据的产出和数据价值高低;或许这个大家或多或少都有这个认识,

但是保证高质量的数据不是那么容易做到的!!

今天给大家分享的是什么样的数据才算是高质量,个人认为觉得

包括以下4个要素:准确、完整、一致和及时

1、准确性

数据中记录的信息和数据是否准确,是否存在异常或者错误的信

息。

导致一致性问题的原因可能是数据记录的规则不一,但不一定存

在错误;而准确性关注的是数据记录中存在的错误,比如字符型数据

的乱码现象也应该归到准确性的考核范畴,另外就是异常的数值,异

常大或者异常小的数值,不符合有效性要求的数值,如访问量Visits一

定是整数、年龄一般在1-100之间、转化率一定是介于0到1的值等。

对数据准确性的审核有时会遇到困难,因为对于没有明显异常的错误

值我们很难发现。

2、完整性

数据的记录和信息是否完整,是否存在缺失的情况。

数据的缺失主要有记录的缺失和记录中某个字段信息的缺失,两

者都会造成统计结果的不准确,所以完整性是数据质量最基础的保障,

而对完整性的评估相对比较容易。

3、一致性

数据的记录是否符合规范,是否与前后及其他数据集合保持统一。

数据的一致性主要包括数据记录的规范和数据逻辑的一致性。数

据记录的规范主要是数据编码和格式的问题,比如网站的用户ID是15

位的数字、商品ID是10位数字,商品包括20个类目、IP地址一定是

用”.”分隔的4个0-255的数字组成,及一些定义的数据约束,比如

完整性的非空约束、唯一值约束等;数据逻辑性主要是指标统计和计

算的一致性,比如PV=UV,新用户比例在0-1之间等。数据的一致

性审核是数据质量审核中比较重要也是比较复杂的一块。

4、及时性

数据从产生到可以查看的时间间隔,也叫数据的延时时长。

虽然说分析型数据的实时性要求并不是太高,但并不意味了就没

有要求,分析师可以接受当天的数据要第二天才能查看,但如果数据

要延时两三天才能出来,或者每周的数据分析报告要两周后才能出来,

那么分析的结论可能已经失去时效性,分析师的工作只是徒劳;同时,

某些实时分析和决策需要用到小时或者分钟级的数据,这些需求对数

据的时效性要求极高。所以及时性也是数据质量的组成要素之一。

DataAuditing

基于数据质量的4个要素,可以对数据进行审核,以评估数据是

否满足完整性、一致性、准确性和及时性这4方面的要求,其中数据

的及时性主要跟数据的同步和处理过程的效率相关,更多的是通过监

控ETL任务的方式来保证数据的及时性,所以这里的数据审核主要指

的是评估数据的完整性、一致性和准确性。

完整性

我们从DataProfiling得到的数据统计信息里面看看哪些可以用

来审核数据的完整性。首先是记录的完整性,一般使用统计的记录数

和唯一值个数。比如网站每天的日志记录数是相对恒定的,大概在

1000万上下波动,如果某天的日志记录数下降到了只有100万,那很

有可能记录缺失了;或者网站的访问记录应该在一天的24小时均有分

布,如果某个整点完全没有用户访问记录,那么很有可能网站在当时

出了问题或者那个时刻的日志记录传输出现了问题;再如统计访客的

地域分布时,一般会包括全国的32个省份直辖市,如果统计的省份唯

一值个数少于32,那么很有可能数据也存在缺失。

完整性的另一方面,记录中某个字段的数据缺失,可以使用统计

信息中的空值(NULL)的个数进行审核。如果某个字段的信息理论上

必然存在,比如访问的页面地址、购买的商品ID等,那么这些字段的

空值个数的统计就应该是0,这些字段我们可以使用非空(NOTNULL)

约束来保证数据的完整性;对于某些允许空的字段,比如用户的

cookie信息不一定存在(用户禁用cookie),但空值的占比基本恒定,

比如cookie为空的用户比例通常在2%-3%,我们同样可以使用统计

的空值个数来计算空值占比,如果空值的占比明显增大,很有可能这

个字段的记录出现了问题,信息出现缺失。

一致性

如果数据记录格式有标准的编码规则,那么对数据记录的一致性

检验比

文档评论(0)

***** + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档