4.2.1 数据清洗《财务大数据分析》教学课件.pptxVIP

财务大数据分析第四章 数据预处理 数据预处理01数据清洗03数据转换02数据集成04数据规约 02数据清洗数据清洗 1数据清洗的重要性数据清洗2常见问题与处理顺序3数据清洗流程及设计 数据清洗技术原因瑕疵来源数据标准不一致计算代码错误录入错误数据源多样不同人员录入数据清洗数据清洗就是把“脏”的数据“洗掉”一、数据清洗的的重要性 指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。数据清洗数据清洗一、数据清洗的的重要性 12345数据接入观测缺失值填补格式内容处理逻辑错误处理剔除无用数据6关联性验证数据清洗二、常见问题与处理顺序 123数据接入观测缺失值填补格式内容处理导入数据、关联数据源1元数据整理2数据抽样观测3归纳数据问题4确定缺失值范围1去除不需要的字段2填充缺失内容3重新取数4时间、日期、数值、全半角等显示格式不一致1内容中有不该存在的字符2内容与该字段应有内容不符3数据清洗二、常见问题与处理顺序 45逻辑错误处理剔除无用数据6关联性验证去重1去除不合理值2修正矛盾内容3备份数据1删除无用字段2表联接1查验数据一致性2数据清洗二、常见问题与处理顺序 数据清洗不是一次性工作，需要多次、多环节进行。因此，要做好数据清洗、保证数据质量，首先需要对整个数据处理的流程进行设计或了解，在了解数据流程后再在相应的环节设计数据清洗流程。InputProcessOutputIPO模型数据清洗三、数据清洗流程与设计 01少量数据。先合并、联接再清洗02大量数据源接入。先按照统一标准清洗，再接入03每个数据计算层。先清洗再计算04分析结果发现数据问题。向前溯源，新增、修订清洗规则一个清洗步骤就用一条清洗规则。多拆分清洗步骤，每个步骤备份数据。先做全局清洗，再做个别字段的清洗。清洗的输出结果不直接放在正式文件中，先用临时文件充分验证后再上正式环境。数据清洗三、数据清洗流程与设计 数据清洗的重要性常见问题与处理顺序数据清洗流程与设计本节小结数据清洗 感谢观看