基于网络爬虫的电商比价及推荐系统的设计与实现.doc

学校代码：10255

学号：2161715

基于网络爬虫的电商比价及推荐系统的设计与实现

DESIGNANDIMPLEMENTATIONOFE-COMMERCE

PRICECOMPARISONANDRECOMMENDATION

SYSTEMBASEDONWEBCRAWLER

学科专业：软件工程

作者：雷前春

指导教师：石秀金

校外导师：贾彦君

答辩日期：2018年5月

东华大学计算机科学与技术学院

SchoolofComputerScienceandTechnology

DonghuaUniversity

东华大学学位论文原创性声明

本人郑重声明：我恪守学术道德，崇尚严谨学风。所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已明确注明和引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品及成果的内容。论文为本人亲自撰写，我对所写的内容负责，并完全意识到本声明的法律

结果由本人承担。

学位论文作者签名：

日期：年月日

东华大学学位论文版权使用授权书

学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅或借阅。本人授权东华大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复

制手段保存和汇编本学位论文。

必威体育官网网址□,在年解密后适用本版权书。

本学位论文属于

不必威体育官网网址□。

学位论文作者签名：指导教师签名：

日期：年月日日期：年月日

基于网络爬虫的电商比价及推荐系统的设计与实现

I

东华大学

软件工程硕士学位论文答辩委员会成员名单

姓名

职称

职务

工作单位

备注

王建会

高级工程师

答辩委员会主席

上海合胜计算机科

技股份有限公司

李继云

教授

答辩委员会委员

东华大学

孙莉

副教授

答辩委员会委员

东华大学

卢婷

副教授

答辩委员会委员

东华大学

王绍宇

副教授

答辩委员会委员

东华大学

卢婷

副教授

答辩委员会秘书

东华大学

基于网络爬虫的电商比价及推荐系统的设计与实现

Ⅱ

基于网络爬虫的电商比价及推荐系统的设计与实现

摘要

随着电子商务的飞速发展，通过网络购物的消费者越来越广泛。众多的电子商务平台在为消费者提供更多的商品选择的同时，也在一定程度上增加了消费者快速挑选出满意商品的困难性。比价类网站通过网络爬虫从各个电商平台抓取必威体育精装版商品信息，可以为用户集中展示不同电商网站同一商品的价格对比信息，为用户选择更加优惠的电商平台提供了参考。但是，比价网的商品展示模式多为被动的展示，即系统仅按用户有哪些信誉好的足球投注网站关键词显示相关商品信息，没有主动向用户推荐商

品。

本文结合协同过滤推荐算法，在比价网上增加商品推荐系统，实现比价网由被动展示模式向可进行个性化推荐的主动展示模式的转变。针对传统协同过滤算法无法及时适应用户兴趣变化的问题，本文提出用户兴趣时间性的概念，并结合信息熵对用户相似度计算方法进行改进，提出基于信息熵和用户兴趣时间性的协同过滤算法(IEICFA)作为推荐系统的核心算法。在爬取各电商网站商品信息时，为解决通用网络爬虫无法满足不同电商平台商品爬取需求的限制，本文针对电商平台的结构差异，对主要电商网站分别定制了不同的爬取策略，实现了自定义的网络爬虫，以完成对商品信息的采集工作，为系统的比

价和推荐功能提供原始商品数据。

本文最后设计并实现了基于网络爬虫的电商比价及推荐原型系

基于网络爬虫的电商比价及推荐系统的设计与实现

II

统，可向用户提供注册登录、有哪些信誉好的足球投注网站比价、商品推荐和评分评价等功能。实现的自定义网络爬虫可适应网站的结构特征，完成对商品数据进行采集。提出的IEICFA推荐算法能够适应用户兴趣随时间变化的特性，

可以有效提高推荐的精确度。

关键词：网络爬虫；比价网；推荐系统；协同过滤算法

基于网络爬虫的电商比价及推荐系统的设计与实现

IV

DESIGNANDIMPLEMENTATIONOFE-COMMERCE

PRICECOMPARISONANDRECOMMENDATION

SYSTEMBASEDONWEBCRAWLER

ABSTRUCT

Withtherapiddevelopmentofe-commerce,consumersshoppingthroughtheInternetarebecomingmoreandmorewidespr