生意网网站的数据采集与分析.pdf

湖南商务职业技术学院毕业设计

目录

1引言1

1.1项目背景1

1.2开发环境与工具2

1.2.1Python简介2

1.2.2MicrosoftExcel简介2

1.2.3Jypyternotebook简介3

1.2.4Pyecharts简介4

2需求分析4

2.1可行性需求分析4

2.2采集目标功能分析5

2.3关键技术分析5

2.3.1网络爬虫技术5

2.3.2文件存取技术6

2.3.3可视化技术7

2.3.4数据清洗技术7

3数据采集8

3.1采集页面分析8

3.2字段分析9

3.3编程实现10

4数据清洗与处理133

4.1数据清洗13

4.2数据储存155

5数据统计与分析15

5.1数据准备15

5.2数据展示166

5.2.1依据店铺名称进行统计166

5.2.2依据价格分类进行统计177

I

湖南商务职业技术学院毕业设计

5.2.3依据分销数前十进行统计和分析18

5.2.4依据分销数、加购数、下载数进行统计19

5.3综述20

6小结212

参考资料213

II

湖南商务职业技术学院毕业设计

生意网网站的数据采集与分析

1引言

自互联网诞生以来，信息技术不断创新发展，在各行业各领域的融合深度

也持续提升。在大数据时代，电子商务呈现出快速发展壮大的趋势。各行各业

的从业人员基本都会使用电商网站来购买生活中所需要的各种商品。首先分析

电子商务领域中大数据技术的应用方向，继而阐述数字经济时代背景下电子商

务中大数据技术应用面临的问题，最后从能力提升、安全防护、应用模式创新、

信息化建设、法律政策完善、应用方式优化几个方面提出电子商务领域大数据

技术科学应用的对策，旨在发挥大数据技术的作用，推动电子商务行业良性、

快速发展。

1.1项目背景

随着互联网和信息技术的不断发展，很多人都以网络平台作为交易的途径，

卖家和买家双方不需要见面交流就可以完成交易。这种方式可以随时随地进行，

不受时间限制，既节省时间，又不会被空间所约束，简单快捷并且高效率，加

快了我国经济全球化的步伐。

当今社会，几乎人手一台或者多台手机，手机的利润可想而知，而我们

需要更加了解消费者对手机市场选择的需求，就需要我们对多数人的偏好进

行分析。本项目就是通过采集电商网站生意网上的数据，根据这些数据可以

获取消费者的消费心理、行为等数据，获取有价值的信息，从而让商家更加了

解消费者的消费偏重，为市场精准化营销奠定了基础，保证消费者能享受到多

元化服务。

生意网平台于2019年9月16日正式注册。它是一个综合性的电子商务平

台，它旨在帮助企业实现线上销售，提升品牌知名度和产品曝光度，以此来吸

引更多的顾客，该网站每天有数千次访问，并稳