爬虫自学笔记教案.pdf

/maxiaobing123 李海全学习笔记 网络爬虫 2013-3-13 目录 1.利用JDK 底层包来访问网页 3 1.1 最简单的获取网页内容的示例 3 1.2．URLConnection 的基本用法 3 1.3 HttpURLConnection 的用法 4 2. 使用 HttpClient 获取网页内容 5 2.1 使用 GET 方式向后台递交请求 5 2.2 自动获得响应的编码信息 6 2.3 设置代理服务器，访问网站 7 2.4 获得重定向之后的网址信息 8 2.5 自动Cookie 处理 9 3 ．HTMLParser 分析网页 11 3.1 通过 HTMLParser 将网页下载到本地 11 3.2 提取网页中图片的链接地 12 3.3 提取具有某种特征的标签 12 4.对 HtmlParser 和HttpClient 做封装，按照规则提取内容 13 4.1 封装代码 13 4.2 代码测试 15 1.利用JDK 底层包来访问网页 因为HttpClient 是对JDK 中.*包下面的有关基础类库的封装，所以，我们有必要了 解一下，这些基础类库的简单用法和概念。 1.1 最简单的获取网页内容的示例 try { String urlString = ; URL url = new URL(urlString);// 代表一个网址 InputStream is = url.openStream();// 获得网页中的内容 // 将InputStream转换为Reader，并使用缓冲读取，提高效率，同时可以按行读取内容 BufferedReader br = new BufferedReader(new InputStreamReader(is, utf-8)); String line = ; while ((line = br.readLine()) != null) { System.out .println(line); } is.close(); } catch (Exception e) { e.printStackTrace(); } 上述例子，直接通过URL 获得输入流，然后对其进行处理！ 1.2．URLConnection 的基本用法 假如你需要通过代理来访问网络，那么，你需要的是URLConnection ！即，在获取内容 之前，先设置代理！ try { String urlString = /; URL url = new URL(urlString); // 代表一个网址 // 首先创建HTTP代理，指定代理的地址和端口 Proxy proxy = new Proxy(Proxy.Type.HTTP , new InetSocketAddress( , 808)); /** * 首先打开一个链接 可以通过这个对象，在真正发起请求之前，设置一些其它的信息 比 如：代理服务器等 */ URLConnection conn = url.openConnection(proxy); InputStream is = conn.getInputStream();// 获取网页的内容 BufferedReade