网络空间安全概论 实验7 网络爬虫.docx

实验七网络爬虫

一、爬虫工作原理

若是把互联网比作一张大网，爬虫（即网络爬虫）便是在网上爬行的蜘蛛。把网中的节点比作一个个网页，那么蜘蛛爬到一个节点处就相当于爬虫访问了一个页面，获取了其信息。可以把网页与网页之间的链接关系比作节点间的连线，蜘蛛通过一个节点后，顺着节点连线继续爬行，到达下一个节点，意味着爬虫可以通过网页之间的链接关系继续获取后续的网页，当整个网站涉及的页面全部被爬虫访问到后，网站的数据就被抓取下来了。

二、用到的相关工具包（Python）

request:用于发送请求与接收结果

re:用来使用正则表达式

csv:用来将获得的数据写入csv文件中，在后面的数据处理更加方便读取

三、实验过程

1、首先获取需要爬取页面的URL，这里就是豆瓣了：/top250

2、通过查看豆瓣的网页源代码发现，该网页是由服务器渲染的HTML，所以选择使用正则来处理。

3、通过firefox自带的抓包工具发现请求方式为get。

4、由于豆瓣经常被爬，所以它设置了反爬，不过仅是对UA的检查，找到一般浏览器访问豆瓣网页所携带的UA，写入到request中即可，还是刚才抓包的文件，最下面有UA即User-Agent。

5、接下来写正则re的预编译，像是豆瓣这样的大网站，前端编写的规定是很严格的，比如有电影信息的div中的class等是与其他构建网页组件不一样的，这也方便了正则的应用。如该代码，电影名都在span这个标签里面，而且有特定的class，故此凭借这个span与class可以快速定位电影名称与获取。

6、csv文件写入。

7、最后编写爬虫，并将数据进行处理，把结果写入csv。

四、结果展示

由于250行太长，只截取了部分

姓名：李亚栋

学号：T31