基于Hadoop构架系统平台.docVIP

基于Hadoop构架系统平台 　　摘要：高速发展的信息技术和迅速增加的数据，给人们的生活带来困惑，推荐系统（Recommender System）可以从海量的用户浏览信息中，根据用户的特点，选择出特定的内容推荐给用户，推荐系统给用户提供了极大的便捷，但是，目前的推荐系统在空间存储的可扩展性与算法的效率存在缺陷，基于Hadoop构架的推荐系统解决了这一缺陷，它经济适用强，效率高，并且极大的提高了基于分布式计算Hadoop构架能够解决推荐系统的可扩展性问题，同时，对于大数据技术在实际中的应用具有实际意义。 　　关键词：Hadoop构架；大数据技术；推荐系统平台 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2015）12-0012-03 　　The Recommendation System Based on Hadoop Structure 　　LIU Zhuo 1，2， CUI Zhong-wei1，2 　　（1.School of Mathematics and Computer Science，Guiyang Normal College，Guiyang 550018， China 2.Industrial Internet of Things Engineering Research Center of the Higher Education Institutions of Guizhou Province， Guiyang 550018， China） 　　Abstract： the rapid development of information technology and the rapid increase of data give the people life confusion， according to the user characteristic the recommendation system can select the specific content from the mass of user browsing information ，which provides the user with great convenience， but， at present， the recommendation system has defects in the space storage scalability and the algorithm deficiency， the recommendation system based on Hadoop structure solves the defects， and it is affordable， high efficiency， and greatly improves the scalability problem based on the Hadoop distributed framework ，also which has an important significance for the application of big data technology in practice. 　　Key words： Hadoop framework； the Big Data； the Recommendation System 　　1概述 　　随着电子商务的快速发展，网上商品的种类和数量日益繁杂，顾客面对选择的时候，往往不知道从何抉择，为了解决这一个困惑，推荐系统平台应运而生， 目前，推荐系统平台引领了各个有哪些信誉好的足球投注网站型网站，交友软件的好友推荐、美团网网站的热门推荐、购物网站的商品推荐、视频网站的电影推荐、资源网站的优质资源推荐等，这些推荐系统提高各个网站的点击率和销售额，影响着人们的学习、生活、工作。 　　Hadoop，是大数据技术的核心技术，即分布式系统基础构架，主要有HDFS和MapReduce两部分组成，它能够实现对大量数据的存储和计算，能够将多台普通或者低性能的服务器组合成分布式的运算集聚。如果我们把Hadoop的这一特性应用到推荐系统，势必能够提高推荐系统的推荐范围和推荐的精准度[1]，，克服了目前的推荐系统在空间存储的可扩展性与算法的效率存在缺陷。 　　2 Hadoop 　　2.1 HDFS 　　HDFS即分布式文件系统，由block、namenode和datanode组成，是Hadoop的核心技术之一，主要是超大文件的存储和超高效的访问模式，它可以存储GB、TB的文件，它所存储的数据集既是我们的分析对象，我们可以借助HDFS长时间对这些数据进行分析，它的一个显著的优点