一种轻量级架构的ETL系统设计与实现.pdfVIP

维普资讯 第 18卷 第6期 计 算 机 技 术 与 发 展 V()1．18 No．6 2008年 6月 COMPUTER TECHNOL(~ Y AND DEVELOPMENT Jun． 2008 一 种轻量级架构的ETL系统设计与实现 黄怀毅，杨路 明 (中南大学信息科学与工程学院，湖南 长沙 410083) 摘 要：EWL系统是构建数据仓库的关键组件。通过数据抽取、转换和装载工作，完成处理海量数据和构建数据仓库的任 务。如何提高数据处理效率和增强系统稳定性是值得研究的问题。根据 电信资源数据省级集中分析系统下的实际应用 背景，提出了一种轻量级架构的ETL系统，该架构采取的是 “化整为零”的思想，把原先核心的抽取和转换的任务部分划 分到各个相应的子系统中做初步的处理，这样处理的优点在于应用中减轻了核心 ETL引擎的承载负担 ，各个抽取任务单 独进行互不依赖，提高了抽取效率。通过在具体应用环境下系统运行表明采用该架构ETL系统具良好的使用效果。 关键词：ETL，数据抽取；数据转换 ；数据装载 ；架构 中图分类号 ：TP311 文献标识码：A 文章编号 ：1673—629X(2008)06—0202—04 DesignandImplementationofLightweightArchitectureofETLSystem HUANG Huai—yi，YANG Lu—ming (SchoolofInformationScienceEngineering，CentralSouthUniversity，Changsha410083，China) Abstract：ETL system isakeycomponentresponsibleforocmtmctingdatawarehouse．Itprocesseslargevolumesofdataandbuildsdata wraehousethroughadatextraction，transformationnadloading，How toefficientlyshortne theexecutiontimena denhna cesystem stabili— tyisabigchallenge．Acocrding theapplicationofpractica．lbackgroundoftelecommuniactionresoureo~ analysissystem，givesalightweight rachitectureof rLsystme ．Theframeworkadoptedthe“piecemeal”thinking．theoriginalocreoftheextractiontaskse．~signtothevali． OUSpartsofthesubsystme todopreliminaryprocessing ．withtheadvantagesofthisapplicationistordeucetheocre明 、Lengineburden， separatetasksfrom eachother，nadimproveextractionefficiency．Thespecificoperationproves ittobeefficient． Keywords：ETL；dataextraction；．datatransform；dataload；architecture 0 引 言 数据的填补 ，对数据的完整性验证和对关键数据进行 ETL是数据抽取、转换、装载的过程，它是构建数 重新构建。这个步骤是获得统一格式、干净数据的保 据仓库的关键步骤。ETL的本质是把不同数据库中