低质量业务数据的查询处理方法.docx

PAGE4

摘要

数据是21世纪非常宝贵的财富，可以说，数据在日常生活中无孔不入，也和息息相关。小到每天坐公交地铁的每一笔支付，大到航天航空的无数次数据的测试。而数据并不一定都是很规整的，大多数时候需要对数据进行清洗处理，进而才能使用，政府数据就是其一，政府数据拥有数据量大，涉及范围广，数据质量低等特点，因此本文将用政府公开数据进行实验。

在大数据时代，数据增长飞快，很多数据是具有时效性的，想要对这些数据进行挖掘潜在的价值，往往都需要实时的数据，而将这些大量实时的数据进行清洗处理又是一个难题。

为此，本文主要进行研究了实时ETL的实现方式，以及对部分政府数据的数据特