1415925560 呼斌 基于hadoop有关web日志文件挖掘.docxVIP

人力资源管理的趋势与创新 南 阳 理 工 学 院 云 计 算 导 论（论文）学院(系)： 软件学院 专 业： 云计算 学 生： 呼 斌 学 号： 1415925560 指导教师： 陈可 完成日期 2016 年 04 月基于Hadoop有关web日志文件挖掘南阳理工学院云计算导论（论文）基于Hadoop有关web日志文件挖掘Web log file mining based on Hadoop总 计： (论文) 19页插 图： 7幅表 格： 0个 南 阳 理 工 学 院 云计算导论 (论文)基于Hadoop有关web日志文件挖掘学 院(系)： 软件学院 专 业： 云计算 学 生 姓 名： 呼 斌 学 号： 1415925560 指导教师(职称)： 陈可 讲师 评 阅 教 师： 陈可 完 成 日 期： 2016年04月19日 南阳理工学院Nanyang Institute of Technology21世纪核心的竞争是数据的竞争21世纪核心的竞争是数据的竞争21世纪核心的竞争是数据的竞争21世纪核心的竞争是数据的竞争21世纪核心的竞争是数据的竞争谁拥有更多数据，谁就拥有未来——马云 基于Hadoop有关web日志文件挖掘云计算 呼斌[摘要] 基于单一节点的数据挖掘系统在挖掘Web海量数据源时存在计算瓶颈，针对该问题利用云计算的分布式处理和虚拟化技术的优势，设计一种基于云计算的 Hadoop 集群框架的Web日志分析平台，提出一种能够在云计算环境中进行分布式处理的混合算法。为进一步验证该平台的高效性，在该平台上利用改进后的算法挖掘Web日志中用户的偏爱访问路径。实验结果表明，在集群中运用分布式算法处理大量的Web日志文件，可以明显提高Web数据挖掘的效率。[关键词] 云计算；Hadoop 架构；Map/Reduce 编程模式；Web 日志挖掘；遗传算法；偏爱访问路径。 Web log file mining based on Hadoop Cloud computing professional Hu BinAbstract: Based on single node, the data mining system in mining a large amount of Web data sources, existing computational bottleneck, in order to solve the problem, using cloud computing of distributed processing and virtualization technology advantage, design a web log based on cloud computing Hadoop cluster framework of analysis platform, a in the cloud computing environment for distributed processing of the hybrid algorithm was proposed. In order to further verify the efficiency of the platform, the improved algorithm is used to mine the users preference access path in the Web log. Experimental results show that the use of distributed algorithm to deal with a large number of Web log files in the cluster can significantly improve the efficiency of Web data mining.Keywords: Cloud computing; Hadoop architecture; Map/Reduce programming model; Web log mining; genetic algorithm; preference access path