PBS-一种面向集群环境的ETL调度算法.pdfVIP

总第331 期 计算机与数字工程 Vol.45 No. 5 Computer Digital Engineering 793 2017 年第5 期 计算机与数字工程 2017 年第5 期 PBS：一种面向集群环境的ETL调度算法∗ 韩文彪 李 晖 陈 梅 戴震宇 （贵州大学先进计算与医疗信息服务工程实验室 贵阳 550025） 摘 要 论文设计并实现了一个集群式ETL（Extract -Transform-Load）任务处理平台，该平台支持异构数据源的多源数 据集，提出了基于预测时间调度算法。该算法对任务进行调度优化，以提高数据抽取、转换和加载等任务的执行效率。基于 实际应用的实验结果证明，集群式ETL任务调度技术对于减少多个ETL任务并行执行的总时间，提升ETL任务的执行效率 具有良好的效果。 关键词 ETL；调度系统；异构数据源 中图分类号 TP301.6 DOI：10. 3969/j. issn. 1672-9722. 2017. 05. 001 PBS：AnETLSchedulingAlgorithmforClusterEnvironment HANWenbiao LIHui CHENMei DAIZhenyu （Guizhou Engineering Lab for ACMIS，Guizhou University，Guiyang 550025） Abstract This paper designs and realizes a clustered ETL （Extract-Transform-Load）task processing platform. The platform supports multi-source data integration of heterogeneous data sources，and proposes the scheduling algorithm based on the predicat⁃ ing time. The algorithm realizes task scheduling optimization，which mainly improving the execution efficiency of data extracting ， transforming and loading etc. Based on the experimental results of actual applications，it is known that the cluster ETL task schedul⁃ ing technology has a great effect for reducing the multiple ETL task parallel execution time and improving ETL task execution effi⁃ ciency. KeyWords ETL，scheduling system，heterogeneous data sources ClassNumber TP301.6 据时，数据抽取所耗费的时间将非常长，进而影响 1 引言 到数据的分析效率，最终影响企业决策对市场的反 随着信息化的快速发展，不少企业都积累了大 应速度。 ［1~2］ 量的数据 。“洞察”数据，分析数据背后的“内涵” 目前，市面上具有不少的ETL产品，既有开源 能够有效帮助企业在激烈的市场竞争环境中占据 也有商业的ETL产品。但普遍采用的是集中