《西普python安全脚本实验》用anonBrowser抓取Web页面.docxVIP

用anonBrowser抓取Web页面

实验指导

实验十一用anonBrowser抓取Web页面

【实验介绍】

1.概述

Mechanize库中的主要类Browser允许我们对浏览器中的任何内容进行操作，我们使用该库来浏览网站、指定代理服务器、更改user-agentCookielib库中含有几个不同的能用来处理cookie的容器，此处使用的是一个能把各个不同的cookie保存到磁盘的容器，该功能允许用户在收到cookie之后不必把它返回给网站并可以查看其中的内容。

2.实验目标

了解anonBrowser类的编写方法，学会使用anonBrowser类+BeautifulSoup解析href链接以及映射图片。

本实验主要要求学生掌握以下几个方面：

（1）了解Mechanize库的基本知识；

（2）了解anonBrowser类的编写方法；

（3）掌握anonBrowser类+BeautifulSoup解析href链接以及映射图片。

3.实验环境

Windows操作系统；python3.x。

【实验步骤】

1.打开Windows操作系统

首先，我们需要进入Windows操作系统，界面图如下：

2.验证Python

（1）按住快捷键“Win+R”打开运行窗口，输入cmd，进入命令行窗口。

（2）在命令行窗口输入：python命令，验证是否存在。

3．脚本设计思路

（1）首先，我们了解Mechanize库。使用该库浏览互联网，并采取同

样的步骤在正常的浏览网页时建立匿名和从web浏览器中清楚cookie。

（2）其次，我们封装代码为python类。如果将这些添加到一个类里面将很有用，这些功能可以归结为一个浏览器对象简单的调用，而不是导入我们的函数到某个文件使用笨拙的语法调用。我们这么做可以扩展Browser类，我们的新Browser类将会有我们已经创建过的函数，以及初始化的附加功能。这将有利于提高代码的可读性，并封装所有的功能在Browser类中直接处理。

（3）最后，我们用anonBrowser类+BeautifulSoup解析Href链接。为了从目标网站解析链接，我们有两个选择：(1)利用正则表达式来有哪些信誉好的足球投注网站和替换HTML代码。(2)使用强大的第三方库BeautifulSoup，可以在下面网站下载安装：/software/BeautifulSoup/。

4.编写准备

（1）下载Mechanize库。

（2）编写anonBrowser类。

（3）准备好自己需要解析的网址，（我们这里使用的网址是/）。

5.编写Python脚本

（1）开始着手编写Python脚本。打开Pycharm工具，界面图如下：

（2）我们创建一个类，名为anonBrowser。我们的新类有一个默认的user-agents列表，接受列表添加进去，以及用户想使用的代理服务器列表。它还具有我们先前创建的三个功能，可以单独也可以同时使用匿名函数。最后，anonymize提供等待60秒的选项，增加在服务器日志请求访问之间的时间。同时也不改变提供的信息，该额外的步骤减小了被识别为相同的源地址的机会。增加时间和模糊的通过安全是一个道理，但是额外的措施是有帮助的，时间通常不是一个问题。另一个程序可以以相同的方式使用这个新类。文件anonBrowser.py包含新类，如果想在导入调用是看到它，我们必须将它保存在脚本的目录。

完整代码截图：

（3）用BeautifulSoup解析Href链接。为了从目标网站解析链接，我们有两个选择：(1)利用正则表达式来有哪些信誉好的足球投注网站和替换HTML代码。(2)使用强大的第三方库BeautifulSoup，可以在下面网站下载安装：/software/BeautifulSoup/。BeautifulSoup的创造者构建了这个极好的库来处理和解析HTML代码和XML。首先，我们看看怎样使用两种方法找到链接，然后解释为什么大多数情况下BeautifulSoup是很好的选择。

完整代码截图：

运行结果截图：

实验报告

一、实验报告

Mechanize库中的主要类Browser允许我们对浏览器中的任何内容进行操作，我们使用该库来浏览网站、指定代理服务器、更改user-agentCookielib库中含有几个不同的能用来处理cookie的容器，此处使用的是一个能把各个不同的cookie保存到磁盘的容器，该功能允许用户在收到cookie之后不必把它返回给网站并可以查看其中的内容。

1、实验目的

了解anonBrowser类的编写方法，学会使用anonBrowser类+BeautifulSoup解析href链接以及映射图片。

本实验主要要求学生掌握以下几个方面：

（1）了解Mechanize库的基本知