基于Hadoop平台的个性化新闻推荐系统的设计.pdf

基于 Hadoop 平台的个性化新闻推荐系统的设计 韦灵，黎伟强（广西科技大学鹿山学院 电气与计算机 工程系，广西 柳州 545616 ）为使互联网用户快捷地查找所 需信息，个性化推荐系统的优势得到了体现和运用。该系统 设计的目的是为广大网民在浏览新闻时提供一个个性化的 新闻推荐系统，实现对新闻数据的协同过滤推荐处理。系统 利用 Hadoop 的 MapReduce 模型实现并行快速地聚类海量新 闻数据，大大提高了数据处理的速度，聚类使得新闻之间的 相似度得以体现，再利用不同的协同过滤算法实现个性化的 新闻推荐。 Hadoop;MapReduce; 聚类 ;个性化 ;MahoutTP301.6 文献标识码：ADOI ：10.19358/j.issn.1674 7720.2016.23.006 韦灵，黎伟强 . 基于 Hadoop 平台的个性化新闻推荐系统的设 计［ J］.微型机与应用， 2016,35 （23 ）：21-23 ，27.0 引言随 着互联网的发展，大量新闻快速涌现，信息严重过载，令用 户无从选择。新闻推荐系统被广泛应用于解决信息过载问题 ［1］，解决不同人之间关注新闻热点不一致的问题。新闻是 人们生活中必不可少的一部分，如何使人们快速地在每天众 多新闻中找出自己感兴趣、想要了解并查看的新闻成为了各 大新闻门户网站的一大难题。快速准确的新闻推荐能节省用 户大量查找自己感兴趣的新闻的时间，这能让用户得到一个 非常好的用户体验。大数据的出现标志着人们生活品质的进 步，这是社会进化的副产品，它能利用许多常规机器进行海 量数据处理。将一个海量数据任务分成需要的小任务，分别 发给许多常规机器进行并行处理，然后得出结果，这个过程 就像许多常规机器汇聚成为一个超级机器，整个处理过程就 像一个机器在处理一样，这大大降低了数据挖掘的成本，并 且在数据量很大时大大减少了计算的时间。在当今时代，无 论是新闻门户网站还是购物网站，无论是医疗方面的还是金 融方面的，大数据平台下的数据挖掘都是现在主流的发展方 向。从另一个角度看，大数据的出现不仅帮助人们筛选出了 有用的信息，同时还帮人们过滤掉了无用的信息。混合方法 弥补了基于内容推荐在多样性上的不足，但却带来了冷启动 问题，在推荐热点新闻或用户具有潜在兴趣的新闻时，没有 得到足够点击的新闻依然无法推荐给目标用户［ 2 ］。目前， 国内外学者在新闻推荐领域已展开了一系列研究。参考文献 ［3-6 ］使用了协同过滤的新闻推荐方法， 本文提出了基于用 户和物品的协同过滤算法来实现面向不同用户的个性化新 闻内容推荐。 1 协同过滤算法介绍个性化推荐主要分为协同 过滤推荐、基于内容推荐、混合推荐。个性化推荐本质上是 把用户与物品进行联系，使得用户能够发现自己所喜爱的物 品，使得物品能够被所喜欢的用户所了解［ 7 ］。关于协同过 滤的一个最典型的例子就是看电影，有时候不知道哪一部电 影是我们喜欢的或者评分比较高的，那么通常的做法就是问 问周围的朋友，看看最近有什么好的电影推荐。在询问时， 都习惯于问与自己爱好相似的朋友，这就是协同过滤的核心 思想。协同过滤推荐与传统的基于内容过滤推荐不同，协同 过滤分析用户兴趣， 在用户群中找到指定用户的相似 （兴趣） 用户，综合这些相似用户对某一信息的评价，形成对该指定 用户对此信息的喜好程度预测。协同过滤主要分为基于用户 的协同过滤和基于物品的协同过滤。 1.1 基于用户的协同过 滤算法俗话说“物以类聚、人以群分” ，拿看电影这个例子 来说，如果你喜欢《蝙蝠侠》 、《碟中谍》、《星际穿越》、《源 代码》等电影，另外有个人也喜欢这类电影，而且他还喜欢 《钢铁侠》，则很有可能你也喜欢《钢铁侠》这部电影。所 以说，当一个用户 A 需