宝钢全流程合同数据清洗与组织方案的设计和应用.pdfVIP

《冶金自动4匕}2014年S1 宝钢全流程合同数据清洗与组织方案的设计和应用 汪 爱 民 (宝山钢铁股份有限公司营销管理部，上海201900) 摘要：随着信息系统的逐步建成、稳定运行和持续改善，gth钢铁股份有限公司应用跨系统平台数据整合清洗 技术，确保多系统、全品种、全流程海量合同数据的质量，同时设计面向业务的基础数据主题集和面向应用的应 用数据主题集，分层式主题结构及星型主题设计实现主题数据层的灵活性和可扩展性，为公司的经营管理分 析、数据挖掘、决策支持和价值提升夯实了基础。 关键词：数据仓库；数据清洗；数据组织；数据主题集 O 引言 数据源层 操作数据层 ’主题数据层 随着宝山钢铁股份有限公司(简称：宝钢股 份)钢铁主业信息化建设的不断深入，在营销数据 仓库中汇集了大量的生产制造、经营管理等方面 ’各属地f (当撒据(， ． … (] 潮造系统、， 的数据。其中，由于宝钢产销的特点，合同分制 ) 夕 隐部销售、 全流程合f’ 造、总部销售、渠道销售多个环节。虽然合同执行 ．系统．』 U 。同数据主题I． 过程中各重要节点的数据已汇集至数据仓库，并 f渠道销售f1 (历一() ( … (： I系统＼， 可以分别在数据仓库不同的功能中进行查询，但 由于不同节点的数据来源众多，代码不完全一致， 图1 原始数据整理部分框架 数据质量参差不齐，且存在部分异常数据，如不进 行系统地组织、清洗与整合，无法保证合同执行全 数据源经过ETL(抽取、转化、装载)过程以统一的 周期情况分析的正确性和合理性。 数据格式存储在数据仓库的ODS(操作数据存储) 数据仓库中的数据清洗与组织是数据仓库技 层。ODS层既包括各系统的当前数据，同时也包 术的核心，宝钢股份合同执行周期相关的数据清 括历史数据。按照特定的业务需求，将ODS中相 洗与组织的设计及应用跟宝钢的信息系统应用水 关的数据按照特定的键值组合在一起形成新的数 平是紧密联系的。本文通过数据仓库在钢铁企业 据集合，用以支持进一步的分析。这样的数据集 的应用实例，具体介绍宝钢股份在数据仓库平台 称为主题数据集。 上全流程合同数据的清洗与组织设计方案。 2数据的清洗与组织方案 1系统数据来源 宝钢股份合同执行过程中主要包括合同签 数据仓库是在企业管理和决策中面向主题 订、生产、出厂、在途、地区公司出人库、JIT(合同 的、集成的、与时间相关的、不可修改的数据集合。 即时交付)等重要节点，这些重要节点的数据来源 按照数据仓库的设计思想结合应用实例，宝钢股 于不同的系统，他们之问都是相对独立的。合同 份营销数据仓库的原始数据整理部分包括数据源 签订的数据来源于总部合同库数据集，生产数据 层、操作数据层、主题数据层。具体架构如图1 来源于各制造单元上传的生产数据集，出厂数据 所示。 来源于总部物流管控相关的数据集，在途、地区公 数据源层包括宝钢股份各属地生产