数据分析前提：数据质量的基本要素.pdfVIP

其身正，不令而行；其身不正，虽令不从。——《论语》

数据分析前提：数据质量的基本要素

数据质量在数据分析中的重要性毋庸置疑，数据的质量直接影响

数据的产出和数据价值高低；或许这个大家或多或少都有这个认识，

但是保证高质量的数据不是那么容易做到的！！

今天给大家分享的是什么样的数据才算是高质量，个人认为觉得

包括以下4个要素：准确、完整、一致和及时

1、准确性

数据中记录的信息和数据是否准确，是否存在异常或者错误的信

息。

导致一致性问题的原因可能是数据记录的规则不一，但不一定存

在错误；而准确性关注的是数据记录中存在的错误，比如字符型数据

的乱码现象也应该归到准确性的考核范畴，另外就是异常的数值，异

常大或者异常小的数值，不符合有效性要求的数值，如访问量Visits一

定是整数、年龄一般在1-100之间、转化率一定是介于0到1的值等。

对数据准确性的审核有时会遇到困难，因为对于没有明显异常的错误

值我们很难发现。

2、完整性

数据的记录和信息是否完整，是否存在缺失的情况。

数据的缺失主要有记录的缺失和记录中某个字段信息的缺失，两

者都会造成统计结果的不准确，所以完整性是数据质量最基础的保障，

而对完整性的评估相对比较容易。

3、一致性

数据的记录是否符合规范，是否与前后及其他数据集合保持统一。

数据的一致性主要包括数据记录的规范和数据逻辑的一致性。数

据记录的规范主要是数据编码和格式的问题，比如网站的用户ID是15

位的数字、商品ID是10位数字，商品包括20个类目、IP地址一定是

其身正，不令而行；其身不正，虽令不从。——《论语》

用”.”分隔的4个0-255的数字组成，及一些定义的数据约束，比如

完整性的非空约束、唯一值约束等；数据逻辑性主要是指标统计和计

算的一致性，比如PV=UV，新用户比例在0-1之间等。数据的一致

性审核是数据质量审核中比较重要也是比较复杂的一块。

4、及时性

数据从产生到可以查看的时间间隔，也叫数据的延时时长。

虽然说分析型数据的实时性要求并不是太高，但并不意味了就没

有要求，分析师可以接受当天的数据要第二天才能查看，但如果数据

要延时两三天才能出来，或者每周的数据分析报告要两周后才能出来，

那么分析的结论可能已经失去时效性，分析师的工作只是徒劳；同时，

某些实时分析和决策需要用到小时或者分钟级的数据，这些需求对数

据的时效性要求极高。所以及时性也是数据质量的组成要素之一。

DataAuditing

基于数据质量的4个要素，可以对数据进行审核，以评估数据是

否满足完整性、一致性、准确性和及时性这4方面的要求，其中数据

的及时性主要跟数据的同步和处理过程的效率相关，更多的是通过监

控ETL任务的方式来保证数据的及时性，所以这里的数据审核主要指

的是评估数据的完整性、一致性和准确性。

完整性

我们从DataProfiling得到的数据统计信息里面看看哪些可以用

来审核数据的完整性。首先是记录的完整性，一般使用统计的记录数

和唯一值个数。比如网站每天的日志记录数是相对恒定的，大概在

1000万上下波动，如果某天的日志记录数下降到了只有100万，那很

有可能记录缺失了；或者网站的访问记录应该在一天的24小时均有分

布，如果某个整点完全