提高数据质量的步骤和措施.pdfVIP

提高数据质量的步骤和措施

由于大多数系统和应用程序会持续不断接收到新数据，数据量

也在不断增加，因此确保数据质量并不是一次就能完成的。所有企

业都应该使用一种反复进展的阶段性过程来管理数据质量，此过程

包括数据质量评估、规划以及策略的选择和实施。

第一步对数据质量进展评估。评估当前的数据质量状态是第一

步。对数据质量进展评估能帮助企业准确地了解数据的内容、质量

和构造。主管人员参与数据质量评估以及分析在数据检查过程中发

现的问题对于数据质量评估来说都很重要。在最有效的数据质量评

估中，所有问题都将按照对业务影响从大到小的顺序列出，这将帮

助IT机构节省工程本钱。

第二步，制订数据质量方案。彻底了解企业数据的内容和质量

后，接下来的步骤是制订一个方案，来修改当前的错误并防止未来

错误的发生。有效的方案不但可以提高企业当前所有应用程序中数

据的质量，还将制定一些方式以确保新应用程序从一开始就遵循数

据质量规那么。

第三步，选择和实施数据质量策略。选择改善企业数据质量的

策略，要求决策者权衡每个数据质量方案的本钱以及该策略产生的

影响。目前的策略类型有两种:在企业输入数据时提高数据质量的

方法称为“上游”方法，而从运营系统提取数据的应用程序(如数据

仓库)中改善数据质量的方法是“下游”方法。

上游策略研究当前应用程序的逻辑、数据和流程，解决检查过

程中发现的异常情况。此策略可能涉及到更改应用程序逻辑、添加

更好的表验证、改善与数据输入相关的流程，它致力于企业数据的

高准确性。另外，此策略还要求使用应用程序本身附带的数据质量

功能。

下游策略解决目标应用程序或数据仓库(而非数据源)中的数据

质量问题。由于数据可以根据需要随时进展修改，所以企业能够在

流程(尤其是数据转换、名称和地址清洗以及查找验证)中改善数据

质量。下游策略仅为目标应用程序或数据仓库改善数据质量，但与

上游策略相比，它的实施过程更简单，本钱更低。

通常，独立的应用系统会有一个比拟模糊的、有时也会有比拟

清晰的数据标准和数据定义。为了保证系统的正常运行，这些系统

的用户必须在数据的标准和数据的定义上达成一致。不过，这些标

准和定义大多数时候与企业中其他系统中的数据标准和定义并不一

致。因此，需要从整个企业的角度出发，建立统一的数据标准和数

据定义，同时，整个企业必须就这个数据标准和数据定义达成共

识。这一句话说起来容易做起来难。因为人通常本能地会回绝改

变，改变数据标准和定义并不是轻而易举的。为此，强烈建立在企

业中除了设立一个高管级别的数据质量管理委员会外，还需要选定

一个执行能力强的工程负责人，需要他推动相关人员承受新的数据

标准和定义。

在详细建立新的数据标准和数据定义时，需要仔细权衡，哪些

定义和标准是出于企业内部的原因(比方出于方便、习惯等)制订

的，哪些定义和标准是因为要有效反映外部的真实世界而制订的。

相对而言，前者更容易执行一些。

数据管理面临的两个主要挑战是企业本身的复杂性和身份信息

不断变化。这两个客观原因的存在意味着企业的数据质量保证行动

永远没有完毕之日，因此，企业在制订数据质量的保证措施和数据

质量指标时，必须保证这些措施和指标能够不断重复。

数据的质量上下可以根据最终用户的需求来评价，也可以通过

与同类数据源的比拟来评价，还可以通过与前一阶段的数据质量进

展比拟来评价。但在制订数据质量的战略时，比拟理想的方法还是

根据最终用户的需求来进展。不过这里存在一个问题是，等到最终

用户拿到数据时再针对数据的问题进展修正已经太迟了。一个有效

的数据质量保证方法是在每当数据发生转换后就与前一时期进展比

拟，从而对数据质量进展评估。如果此前所采用的数据质量改良方

法有助于提高最终用户的满意度，那么，这些中间指标的达标也预

示着工程的最终成功。

我们常常听到有人说，他们制订了很多方法来迅速而且大幅度

提升数据的质量，但很少听说最后他们能真正得到满意的结果。其

原因就在于数据的质量改良绝非一朝一夕的事情，而是一个持续的

过程。正确的方法是通过一个不断改良的流程，持续不断地排除错

误、对数据进展整合和标准化，最后到达流程的自动化，从而降低

数据质量保证方案的总体开销。实际上，排除错误、数据整合和数

据标准化从来就不是一件容易的事情。数据质量管理方案的负责人

将配合公司高管组成的数据质量管理委员会来保证这个流程的顺利

执行。要注意的是，作为该工程的负责人，不能墨守成规，仅