数据仓库专题讲座—数据质量管理.pdf

数据仓库专题讲座 之 数据质量管理 缪翀莺 2005年9月 目录  数据质量问题分析  数据质量方法论  质量保证成功因素  案例分析 数据质量归类 数据质量金字塔 •违反唯一性约束 •业务规则 •违反主外键关系 •统计口径 准确性 •丢失数据 及时性 •处理数据超出了 用户忍耐 •丢失数据包含的 属性信息 一致性 •结果过时 唯一性和参考完备性 •数据超出值域范围 完整性 • 不同数据源相同 •数据类型不匹配 实体数据不同 •数据日期格式错 数据类型和值域 • 已汇总数据与详 细数据的再汇总 不一致 Copyright © 2004 Oracle All rights reserved 数据质量的示例 重复属性 缺少数据 缺乏引用完整性 违反商务规则 多种数据源中缺乏数据对应 错误的值 错误的数据依赖 主键重复 源数据和目标缺乏同步 错误的计算 错误的范围稀少的实体解释 没有理由的关联 无标准的格式 原因分析 数据源问题 数据抽取时间点问题 多个生产系统的数据源存在不一致现象 由于生产系统的数据 数据源本身存在脏数据噪声数据 是随生产而变化的， 数据存在人工操作 在不同的时间点 不同数据源由不同部门管理