PDMiner：基于云计算的并行分布式数据挖掘工具平台.pdf

中国科学: 信息科学 2014 年 第44 卷 第7 期: 871–885 论 文 基于云计算的并行分布式数据挖掘 工具平台 * * 何清 庄福振 曾立 赵卫中 谭庆 中国科学院智能信息处理重点实验室, 中国科学院计算技术研究所, 北京 100190 中国科学院大学, 北京 100049 * 通信作者. E-mail: heq@, zhuangfz@ 收稿日期: 2013–08–30; 接受日期: 2013–11–14 国家自然科学基金(批准号: 和国家高技术研究发展计划 (863)(批准号: 2014AA012205, 2013A- A01A606, 2012AA011003) 资助项目 摘要 随着信息技术和互联网的发展, 各种信息呈现爆炸性增长, 且包含丰富的知识. 从海量数据 信息中挖掘得到有用的知识仍然是一个挑战性的课题. 近几十年来, 数据挖掘技术, 作为从海量数据 信息中挖掘有用信息的关键技术已经引起了广泛的兴趣和研究. 但是由于数据规模的增长, 以往的 很多研究工作并不能有效地处理大规模数据, 因此, 开发设计或者扩展已有算法使之能处理大规模 数据集, 已经成为数据挖掘中非常重要的研究课题. 近年来, 基于云计算的数据挖掘技术研究已经成 为一个热点话题, 本文中我们研究开发一个基于大规模数据处理平台Hadoop 的并行分布式数据挖 掘工具平台PDMiner. 在PDMiner 中, 开发实现了各种并行数据挖掘算法, 比如数据预处理、关联规 则分析以及分类、聚类等算法. 实验结果表明, 并行分布式数据挖掘工具平台PDMiner 中实现的并 行算法: 1) 能够处理大规模数据集, 达到TB 级别; 2) 具有很好的加速比性能; 3) 大大整合利用已有 的计算资源, 因为这些算法可以在由这些商用机器构建的并行平台上稳定运行, 提高了计算资源的 利用效率; 4) 可以有效地应用到实际海量数据挖掘中. 此外, 在PDMiner 中还开发了工作流子系统, 提供友好统一的接口界面方便用户定义数据挖掘任务. 更重要的是, 我们开放了灵活的接口方便用 户开发集成新的并行数据挖掘算法. 关键词 云计算 并行算法 分布式 数据挖掘 大数据 引言 随着社会发展的信息化和网络化, 每天都有大量的数据涌现, 这些数据包含了大量丰富的有用信 息, 涵盖政治、经济、娱乐等生活中的各个方面. 据统计, 互联网上在线发布的网页高达数十亿数量级, 并以每天百万网页的速度增长. 因此, 信息的获取相当重要, 一定程度上, 信息的拥有量已经成为决定 和制约社会发展的重要因素. 数据挖掘作为信息获取的一门重要技术, 已经得到了广泛的研究. 数据挖掘 , 就是从大量的数 据中挖掘出有用的信息, 提供给决策者做决策支持, 有着广阔的应用前景. 由于要挖掘的信息源中的 数据都是海量的, 而且以指数级增长, 传统的集中式串行数据挖掘方法不再是一种适当的信息获取方 引用格式 何清 庄福振 曾立 等 基于云计算的并行分布式数据挖掘工具平台 中国科学 信息科学 何清等: PDMiner: 基于云计算的并行分布式数据挖掘工具平台 式. 因此扩展数据挖掘算法处理大规模数据的能力, 并提高运行速度和执行效率, 已经成了一个不可 忽视的问题. 为了解决海量数据的挖掘问题, 一种简单的方式就是把所有的数据划分成若干份, 也就是切分成 若干个子任务, 然后分布到各个计算资源上去进行计算, 每个节点完成一个子任务, 最后进行集成. 分 布式计算就是把一个计算问题分