- 1、本文档共4页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
数据分析前提:数据质量的基本要素
数据质量在数据分析中的重要性毋庸置疑,数据的质量直接影响
数据的产出和数据价值高低;或许这个大家或多或少都有这个认识,
但是保证高质量的数据不是那么容易做到的!!
今天给大家分享的是什么样的数据才算是高质量,个人认为觉得
包括以下4个要素:准确、完整、一致和及时
1、准确性
数据中记录的信息和数据是否准确,是否存在异常或者错误的信
息。
导致一致性问题的原因可能是数据记录的规则不一,但不一定存
在错误;而准确性关注的是数据记录中存在的错误,比如字符型数据
的乱码现象也应该归到准确性的考核范畴,另外就是异常的数值,异
常大或者异常小的数值,不符合有效性要求的数值,如访问量Visits一
定是整数、年龄一般在1-100之间、转化率一定是介于0到1的值等。
对数据准确性的审核有时会遇到困难,因为对于没有明显异常的错误
值我们很难发现。
2、完整性
数据的记录和信息是否完整,是否存在缺失的情况。
数据的缺失主要有记录的缺失和记录中某个字段信息的缺失,两
者都会造成统计结果的不准确,所以完整性是数据质量最基础的保障,
而对完整性的评估相对比较容易。
3、一致性
数据的记录是否符合规范,是否与前后及其他数据集合保持统一。
数据的一致性主要包括数据记录的规范和数据逻辑的一致性。数
据记录的规范主要是数据编码和格式的问题,比如网站的用户ID是15
位的数字、商品ID是10位数字,商品包括20个类目、IP地址一定是
用”.”分隔的4个0-255的数字组成,及一些定义的数据约束,比如
完整性的非空约束、唯一值约束等;数据逻辑性主要是指标统计和计
算的一致性,比如PV=UV,新用户比例在0-1之间等。数据的一致
性审核是数据质量审核中比较重要也是比较复杂的一块。
4、及时性
数据从产生到可以查看的时间间隔,也叫数据的延时时长。
虽然说分析型数据的实时性要求并不是太高,但并不意味了就没
有要求,分析师可以接受当天的数据要第二天才能查看,但如果数据
要延时两三天才能出来,或者每周的数据分析报告要两周后才能出来,
那么分析的结论可能已经失去时效性,分析师的工作只是徒劳;同时,
某些实时分析和决策需要用到小时或者分钟级的数据,这些需求对数
据的时效性要求极高。所以及时性也是数据质量的组成要素之一。
DataAuditing
基于数据质量的4个要素,可以对数据进行审核,以评估数据是
否满足完整性、一致性、准确性和及时性这4方面的要求,其中数据
的及时性主要跟数据的同步和处理过程的效率相关,更多的是通过监
控ETL任务的方式来保证数据的及时性,所以这里的数据审核主要指
的是评估数据的完整性、一致性和准确性。
完整性
我们从DataProfiling得到的数据统计信息里面看看哪些可以用
来审核数据的完整性。首先是记录的完整性,一般使用统计的记录数
和唯一值个数。比如网站每天的日志记录数是相对恒定的,大概在
1000万上下波动,如果某天的日志记录数下降到了只有100万,那很
有可能记录缺失了;或者网站的访问记录应该在一天的24小时均有分
布,如果某个整点完全没有用户访问记录,那么很有可能网站在当时
出了问题或者那个时刻的日志记录传输出现了问题;再如统计访客的
地域分布时,一般会包括全国的32个省份直辖市,如果统计的省份唯
一值个数少于32,那么很有可能数据也存在缺失。
完整性的另一方面,记录中某个字段的数据缺失,可以使用统计
信息中的空值(NULL)的个数进行审核。如果某个字段的信息理论上
必然存在,比如访问的页面地址、购买的商品ID等,那么这些字段的
空值个数的统计就应该是0,这些字段我们可以使用非空(NOTNULL)
约束来保证数据的完整性;对于某些允许空的字段,比如用户的
cookie信息不一定存在(用户禁用cookie),但空值的占比基本恒定,
比如cookie为空的用户比例通常在2%-3%,我们同样可以使用统计
的空值个数来计算空值占比,如果空值的占比明显增大,很有可能这
个字段的记录出现了问题,信息出现缺失。
一致性
如果数据记录格式有标准的编码规则,那么对数据记录的一致性
检验比
您可能关注的文档
- BIM技术在幼儿园设计中的应用案例.pdf
- 弘扬国学 书写经典.pdf
- 申请二级甲等医院工作任务具体分解.pdf
- 文明单位创建工作督查制度(5篇).pdf
- 三三年级下册数学竖式乘法及除法计算题.pdf
- 《中国古代技术》章节测试题及答案.pdf
- 简单的自我介绍(集合15篇).pdf
- 电脑ups操作规程.pdf
- 某信息系统故障应急预案.pdf
- 外资企业精细化管理-成本控制流程图.pdf
- 第三单元解决问题的策略 三年级下册数学高频考点重难点讲义(苏教版)(1).docx
- 4.4 解比例 数学六年级下册同步培优讲义(苏教版).docx
- 第四单元《根据方向与距离确定物体位置》(教案)五年级下册数学青岛版.docx
- (奥数典型题)第三讲 分解质因数 五年级下册数学思维拓展提升讲义(人教版).docx
- 2.2:2、5、3的倍数-人教版五年级数学下册第二单元:因数和倍数.docx
- 第六单元正比例和反比例 六年级下册数学高频考点重难点讲义(苏教版).docx
- 第二单元除数是一位数的除法 三年级下册数学高频考点重难点讲义(人教版).docx
- 第二单元-认识三角形和四边形 四年级数学下册提升(北师大版).docx
- 第一单元观察物体(三)五年级下册数学高频考点重难点讲义(人教版).docx
- 第九单元 数学广角—推理 二年级数学下册重难点知识点(人教版).docx
文档评论(0)