基于Mapreduce的FP-Growth算法的研究与实现.docx

基于Mapreduce的FP-Growth算法的研究与实现 摘要：关联分析算法是经典的数据挖掘算法。关联分析算法主要有两类：Apriori算法和FP-Growth算法。Apriori算法通过扫描数据库生成候选集来挖掘频繁项集，编码易实现，但对于大规模的数据集，需要多次重复扫描数据库导致程序效率比较低。FP-Growth算法基于Apriori算法构建，但在完成相同的任务时采用了不同的技术。这里的任务是将数据集存储在一个特定的称作FP树的结构之后发现频繁项集或者频繁项对，即经常在一块出现的元素项的集合FP树。该算法采用分治策略将频繁项集数据以树的形式进行存储，只会扫描数据库两次，执行速度显著提升。