- 1、本文档共7页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
如何构造一个C#语言的爬虫程序
如何构造一个 C#语言的爬虫程序
C#特别适合于构造蜘蛛程序,这是因为它已经内置了 HTTP 访问和多线程的能
力,而这两种能力对于蜘蛛程序来说都是非常关键的。二进制文件的内容类型声明不以
text/开头,蜘蛛程序直接把二进制文件保存到磁盘,不必进行
C#特别适合于构造蜘蛛程序,这是因为它已经内置了 HTTP 访问和多线程的能力,
而这两种能力对于蜘蛛程序来说都是非常关键的。下面是构造一个蜘蛛程序要解决的关
键问题:
⑴ HTML 分析:需要某种 HTML 解析器来分析蜘蛛程序遇到的每一个页面。
⑵ 页面处理:需要处理每一个下载得到的页面。下载得到的内容可能要保存到磁
盘,或者进一步分析处理。
⑶ 多线程:只有拥有多线程能力,蜘蛛程序才能真正做到高效。
⑷ 确定何时完成:不要小看这个问题,确定任务是否已经完成并不简单,尤其是
在多线程环境下。
一、HTML 解析
本文提供的 HTML 解析器由 ParseHTML 类实现,使用非常方便:首先创建该类
的一个实例,然后将它的 Source 属性设置为要解析的 HTML 文档:
ParseHTML parse = new ParseHTML();
parse.Source = pHello World/p;
接下来就可以利用循环来检查 HTML 文档包含的所有文本和标记。通常,检查过程可以
从一个测试 Eof 方法的 while 循环开始:
while(!parse.Eof())
{
char ch = parse.Parse();
Parse 方法将返回 HTML 文档包含的字符--它返回的内容只包含那些非 HTML 标
记的字符,如果遇到了 HTML 标记,Parse 方法将返回 0 值,表示现在遇到了一个
HTML 标记。遇到一个标记之后,我们可以用 GetTag()方法来处理它。
if(ch==0)
{
HTMLTag tag = parse.GetTag();
}
一般地,蜘蛛程序最重要的任务之一就是找出各个 HREF 属性,这可以借助 C#
的索引功能完成。例如,下面的代码将提取出 HREF 属性的值(如果存在的话)。
Attribute href = tag[HREF];
string link = href.Value;
获得 Attribute 对象之后,通过 Attribute.Value 可以得到该属性的值。
二、处理 HTML 页面
下面来看看如何处理 HTML 页面。首先要做的当然是下载 HTML 页面,这可以通
过 C#提供的 HttpWebRequest 类实现:
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(m_uri);
response = request.GetResponse();
stream = response.GetResponseStream();
接下来我们就从 request 创建一个 stream 流。在执行其他处理之前,我们要先
确定该文件是二进制文件还是文本文件,不同的文件类型处理方式也不同。下面的代码
确定该文件是否为二进制文件。
if( !response.ContentType.ToLower().StartsWith(text/) )
{
SaveBinaryFile(response);
return null;
}
string buffer = ,line;
如果该文件不是文本文件,我们将它作为二进制文件读入。如果是文本文件,首
先从 stream 创建一个 StreamReader,然后将文本文件的内容一行一行加入缓冲区。
reader = new StreamReader(stream);
while( (line = reader.ReadLine())!=null )
{
buffer+=line+\r\n;
}
装入整个文件之后,接着就要把它保存为文本文件。
SaveTextFile(buffer);
下面来看看这两类不同文件的存储方式。
二进制文件的内容类型声明不以text/开头,蜘蛛程序直接把二进制文件保存到
磁盘,不必进行额外的处理,这是因为二进制文件不包含 HTML,因此也不会再有需要
蜘蛛程序处理的 HTML 链接。下面是写入二进制文件的
您可能关注的文档
- PCR 测量指南.pdf
- 电子商务专业技能培训教学计划.doc
- 第三章2_二自由度系统振动-更新.ppt
- 1窃读记学案.docx
- 12-5:城信所(上海)2012应届生招聘简介.doc
- 涿鹿县文物保护协会章程.doc
- 古诗词中考鉴赏.ppt
- 以行求知 从做中学.doc
- 五芳斋_产业链营销成就第一品牌.pdf
- 世界著名的石油公司.doc
- 2024年证券分析与咨询服务项目投资申请报告代可行性研究报告.docx
- 2024年铬酸酐项目资金申请报告代可行性研究报告.docx
- 2024年清洁胶项目资金申请报告代可行性研究报告.docx
- 2024年肉松饼项目投资申请报告代可行性研究报告.docx
- 2024年陆上泵项目资金需求报告代可行性研究报告.docx
- 2024年未硫化复合橡胶及其制品项目资金需求报告代可行性研究报告.docx
- 2024年精密温控节能设备项目资金筹措计划书代可行性研究报告.docx
- 2024年汽车覆盖件模具项目资金筹措计划书代可行性研究报告.docx
- 宋词行书钢笔字帖.pdf
- 我的暑假生活作文三年级300字10篇.pdf
文档评论(0)