数据质量管理.ppt.ppt

步骤六 确定数据的时效性检验规则 根据表APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL使用的源表的最晚到达时间，加上后台数据加工处理的时间，定义该表的最晚加载日期为每月12日。 步骤七 确定数据的完整性检验规则 根据数据检验适用规则的规则二、三： 1、APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL不包含外键字段，因此不符 合规则二，不需要进行代码一致性检查。 2、该表包含有日期型字段DQRQ，记录条数每月确定，因此满足规则三，需要进行记录条数检查，此表每月加载量为35行。 步骤八 确定数据的原则性检验规则 根据数据检验适用规则的规则四： 1、APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL表中包含有字段 BY_SYXL、 BY_HCY 、 BY_JL1、BY_JL2、BY_JL3、BY_JL4、BY_JL5、LJ_SYXL、LJ_HCY、LJ_JL1、LJ_JL2、LJ_JL3、LJ_JL4、LJ_JL5；可以确定取值范围，根据业务经验确定： BY_SYXL、BY_HCY、 LJ_SYXL、LJ_SYXL 0; BY_JL1、BY_JL2、BY_JL3、BY_JL4、BY_JL50; LJ_JL1、LJ_JL2、LJ_JL3、LJ_JL4、LJ_JL50; 步骤八 确定数据的原则性检验规则 根据数据检验适用规则的规则五、六： 1、APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL中包含有字段SCLXMC、 BY_SYXL、 BY_HCY 、 BY_JL1、BY_JL2、BY_JL3、BY_JL4、BY_JL5、LJ_SYXL、LJ_HCY、LJ_JL1、LJ_JL2、LJ_JL3、LJ_JL4、LJ_JL5；存在有相同业务含义，不同的统计口径，其中市场类型为全国的数据对应于市场类型为本土市场、重点市场和其他市场的汇总数据。 2、APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL中不包含字段具有不同的业务含义，相同的统计口径，在业务上存在业务逻辑公式的。因此不满足数据检验的规则六。 步骤九 确定数据的模糊性检验规则 根据数据检验适用规则的规则七、八： 1、APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL表中包含有字段BY_SYXL、BY_HCY、 LJ_SYXL、LJ_HCY、 BY_JL1_BL、BY_JL2_BL、BY_JL3_BL、BY_JL4_BL、BY_JL5_BL、LJ_JL1_BL、LJ_JL2_BL、LJ_JL3_BL、LJ_JL4_BL、LJ_JL5_BL；不满足规则七，满足规定八。 2、其中字段BY_SYXL、BY_HCY、LJ_SYXL、LJ_HCY的数据根据业务经验确定，数据审核规范如下：市场类型为全国的对应以上字段数据同比的合理区间在0～10%；市场类型除全国外其他类型的同比合理区间在-10%～20%； 步骤九 确定数据的模糊性检验规则 根据数据检验适用规则的规则七、八： 3、其中字段BY_JL1_BL、BY_JL2_BL、BY_JL3_BL、BY_JL4_BL、 BY_JL5_BL、LJ_JL1_BL、LJ_JL2_BL、LJ_JL3_BL、LJ_JL4_BL、LJ_JL5_BL的数据根据统计学公式确定，数据审核规范如下：区分市场类型使用99%置信区间；合理区间在历史数据平均值-3×(历史数据标准差/历史数据记录数的平方根)～历史数据平均值+3×(历史数据标准差/历史数据记录数的平方根) 步骤十 确定数据的逻辑性检验规则 根据数据检验适用规则的规则九： 1、APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL表包含有字段SCLXMC、 BY_JL1、BY_JL2、BY_JL3、BY_JL4、BY_JL5 2、ZHGL.L_T_ZHGL_JYFLSPDXYBBLJ表(烟草系统卷烟分类商品电讯月报表累计)包含有字段DQ、YLYNCLJ、ELYNCLJ、SLYNCLJ、SILYNCLJ、WLYNCLJ 3、这两张表对应字段具有相同业务含义，不同的统计口径，存在汇总 关系： APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL表中为各省份的分价类销量的分月的数据ZHGL.T_ZHGL_JYFLSPDXYBBLJ表表中各省份、分价类商业销量的累计数据 因此APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL表各省份的分价类销量的分月的汇总数据等于该电讯月报ZHGL.T_ZHGL_JYFLSPDXYBBLJ表对应省份、对应价类商业销量的累计数据。 步骤十 确定数据的逻辑性检验规则 根据数据检验适用规则的规则九：