评分卡清洗数据课件.pptx

数据清洗与字段选取 数据清洗 概况 预处理 空值处理 – 删除字段（数据库的列） 空值处理 – 填补空值 空值处理 – 删除记录（数据库的行） 极端值处理 – 删除 极端值处理 – 调整 概况 在非大数据的数据分析中，数据清洗，是整个评分卡建立过程中较为基础的部分。应用数据清洗中的方法，得到“好的”数据，能让之后的建模过程事半功倍。反之，如果数据清洗的结果并不是特别理想，则会给之后的建模过程造成负担。 一般来说，整个建模过程的80%的工作量在数据清洗阶段。应投入相应比例的人力和物力。 预处理 1. 对于文本型字段，将每一种类型编码 如， 学历字段中，本科=1,研究生=2,其他=3 2. 如果任何一个字段出现类型过多或者类型分布极不平均，应直接删除 如， 性别字段中， 男:女= 9:1 职业字段中，出现4800种类型而数据总量只有5000条记录 3. 对于NA专门编码，归为一类 如， 学历字段中，NA = 6 空值处理 – 删除字段（数据库的列） 如果某一字段的空值的占比较大，比如超过40%，且不能进行大批量的空值填补工作时，应当将此字段删除。 例如： 预审结果字段中的空值占比很大，但可以填补，比如空值视为通过，则不删除该字段。 婚姻状况字段中的空值占比很大，且不可以大批量填补，则应当删除该字段。 空值处理 – 填补空值 在实际操作中，很多空值可以被大批量填补。对于可以大批量填补的空值数据，应当采取大批量填补。对于不能大批量填补的空值数据，则视字段的重要程度和空值的数量进行评估。 若该字段非常重要且空值并不是很多，可以选择填补或直接删除空值对应记录。 若该字段不重要且空值蛮多的，则可直接删除字段。 若该字段非常重要且空值蛮多的，填补工作量较大，且填补效果并不会非常理想，则视业务需求而定。 空值处理 – 填补空值 填补方法的原则 在数据量比较充足的情况下，对数据进行类似聚类的处理，再取某一类下的均值来代替空值 在数据量不是很充分的情况下，直接取数据的平均数 空值处理 – 删除记录（数据库的行） 在某字段中，空值较少，且删除空值对应数据不影响模型的构建，即仍旧有5000行以上的数据记录，则应该删除空值所对应的数据记录。 极端值的删除 在有些情况下，除了空值以外，数据中还带有一些极端值。在这种情况下，需要从数据出发，删除不合理的极端值；再从业务出发，删除业务中不合理的极端值。 需要从业人员对数据的采集过程和中间可能出现的错误有一定的了解。 比如：月收入3百万的记录，应该被删除 产品的受众是年龄小于60岁，但数据中出现了大于60岁的人群，需要与业务沟通，查看数据库的数据采集规则 极端值的调整 有些情况下，并不直接删除极端值，而是对一些极端值进行调整。 1. 对连续型字段，极端值的调整应用 2. 对离散型字段，极端值的调整应用 极端值调整的方法类似于填补空值的办法。 字段选取 概况 字段的删除 衍生字段的生成 建立宽表的原则 概况 在非大数据的数据分析中，字段选取，是整个评分卡建立过程中较为基础的部分。“好的”字段选取可以减小之后建模的负担。反之，如果舍弃了有用的字段，则会使得模型失去一部分有用信息。而如果过多的保留无用字段，则会使得模型过拟合。 字段的删除 对字段的删除，是从业务知识出发，删除与业务主体关联性不强的字段。所谓的“没用的”字段。 例如: 对某些产品来说，学历这个字段是没有信息的，应该删除。 在进行这一步工作的时候需要谨慎的是，不应该删除有重要信息的字段。 例如：对某些产品来说，学历这个字段是有信息的，则绝对不应该删除。 衍生字段的生成 衍生字段的生成是极为关键的。大致有以下两种情况： 1. 该字段本身没有意义，但其计数在业务层面上可能有意义 例如： 居住地址本身没有意义，但是改变居住地址的次数有意义，比如，人为改变居住地址的次数越少越稳定，这里需做衍生 2. 某两个有意义的字段的简单组合能产生业务层面上可能显著的字段 例如： 逾期时间与逾期金额本身就有意义，但是（逾期金额/逾期时间）在业务上也是有意义的，而且可能是显著的字段，这里