逐浪文学网数据采集与分析.pdf

湖南商务职业技术学院毕业设计

目录

1引言1

1.1项目背景1

1.2开发环境与工具2

1.2.1Python简介2

1.2.2JupyterNotebook简介2

1.2.3Python第三库简介3

2需求分析4

2.1可行性需求分析4

2.2采集目标功能分析5

2.3关键技术分析5

2.3.1网络爬虫技术5

2.3.2文件存取技术6

2.3.3可视化技术7

3数据采集9

3.1采集页面分析9

3.2Xpath分析11

3.3编程实现11

4数据清洗与处理13

4.1数据清洗13

4.2数据储存14

4.3编程实现15

5数据统计与分析18

5.1数据准备18

5.2数据展示19

5.2.1依据书名进行统计19

5.2.2依据总字数进行统计20

5.2.3据总章节进行统计和分析21

I

湖南商务职业技术学院毕业设计

5.3综述21

6小结23

参考资料25

II

湖南商务职业技术学院毕业设计

逐浪文学网数据采集与分析

1引言

电子产品的大量涌现十分显著的改变了人们的生活习惯，其中也包括阅读。

电子书展示的便利性使人们更倾向于选择用手机或电脑等设备进行阅读，因此

许多电子书网站应运而生。如今很多学生不再去图书馆等特定场所阅读纸质书

籍，而是随时随地拿起手机畅游书海。

时光荏苒，我们的国家已经进入了一个高速发展的互联网阶段。移动互联

网和出版社同步高速发展，摆在我们眼前，统计出现在的人们：尤其是年轻人，

基本上都会选择在互联网上选择电子阅读，进行网站看书更为普遍。网络平台

上还有各种各样的软件，人们可以根据自己的喜好、需求来进行选择。例如有

些书本内容是需要付费阅读的，当然不同的网站也会不一样，可能另一个网站

是免费的，并不需要进行付费，这就体现出阅读网站多样性的重要；而又或者

有些阅读书籍是在某个网站上没有资源的，还或者有些网站看起来十分简单，

导致并没有完善的很好，经常会出现带病毒的小广告，稍有不慎就会错乱点进

去，这就十分影响人们的阅读质量和观看心情等等。但就是因为这些阅读网站

的优缺点，也使得阅读网站变得更加的具体性、完善性和多样性，所以人们都

是可以在互联网上进行自由选择。然而互联网也根据广大群众的各个需求方面，

提供了更精准的技术阅读网站。

电子阅读，文学小说等方面各种网站等待开发的价值愈来愈大。我们这一

代也踩在了新青年喜爱电子读书的门槛