基于Python的塔读小说网数据采集与分析.pdf

湖南商务职业技术学院毕业设计

目录

1引言1

1.1项目背景1

1.2开发环境与工具1

1.2.1Python简介1

1.2.2Python网络爬虫简介2

1.2.3Hive简介2

2需求分析3

2.1可行性需求分析3

2.2采集目标功能分析4

2.3关键技术分析4

2.3.1网络爬虫技术4

2.3.2文件存取技术5

2.3.3数据可视化技术6

3数据采集7

3.1采集页面分析7

3.2页面静动态分析8

3.3pycharm编程实现9

4数据清洗与处理10

4.1数据清洗10

4.2数据储存11

4.3编程实现12

5数据统计与分析13

5.1数据准备13

5.2数据展示14

5.2.1根据小说类型数量进行统计分析14

5.2.2根据塔读小说周人气值进行统计分析15

5.2.3根据每本小说的字数进行统计分析16

1

湖南商务职业技术学院毕业设计

6总结17

参考资料19

2

湖南商务职业技术学院毕业设计

基于Python的塔读小说网数据采集与分析

1引言

时光如梭，从2019年疫情爆发开始到现在2023年疫情彻底结束已经三年

了，大数据的时代已经彻底到来。在疫情期间，也让人们体会到了大数据的各

种用处，比如通行码、健康码、各种数据统计等等都需要利用大数据来实现的。

并且在此期间出门才发现没有手机几乎寸步难行，现在不管是交通还是购物基

本上都是网上支付的，这也充分体现出了大数据给人们带来的便利。但凡事都

是有两面性的，有利必有弊，自大数据发展起来，社会上各行各业都在使用大

数据来实现各种业务，使得人们不得不学习大数据，再加上网络诈骗横行，使

得人们对大数据有着不同的看法。

1.1项目背景

一个出色的小说网站是需要由很多很多受欢迎的小说组成的，但是仅仅把

好的小说随便放在网页上面也是不行的，所以我们就要对小说的数据进行统计，

然后分类再汇总。

要想让网站受到读者的青睐，首先就是要把网站一点进来的那页封面做的

有吸引力，让他们有想继续看下去的欲望。然后还得小说分类整洁易懂，就是

要做到让他们想找哪本小说能很快的找到，这就代表网站的有哪些信誉好的足球投注网站性能要非常的

准确，而在网站上有那么多的小说我们很难做到这些东西。

如果想做到以上说的这些，我们可以对小说的类型、字数、作者和点击量

等等通过python爬虫技术获取出来这些数据，然后对数据再进行统计分析以及

汇总。所以我这次做这个项目的主要目的就是对塔读小说网中的小说进行一些

处理，可以让大家清晰的看见