网络程序设计课程论文.docVIP

PAGE 12 JISHOU　UNIVERSITY 专业课课程论文 题 目： 网络爬虫的设计与实现 作 者： 学 号： 所属学院： 信息科学与工程学院 专业年级： 总 评 分： 完成时间： 吉首大学信息科学与工程学院 网络爬虫的设计与实现 （吉首大学信息科学与工程学院，湖南 吉首 416000） 摘 要 网络爬虫是一种自动搜集互联网信息的程序。通过网络爬虫不仅能够为有哪些信誉好的足球投注网站引擎采集网络信息，而且可以作为定向信息采集器，定向采集某些网站下的特定信息，如招聘信息，租房信息等。 本文通过Python及第三方库(TCP/IP)实现了爬虫程序。本论文阐述了网络爬虫实现中一些主要问题：如何实现爬行系统实现过程中的数据存储；网页信息解析等。 通过实现这一爬虫程序，可以搜集某一站点的URL，并将搜集到的URL存入数据库。 关键词：网络爬虫；python；TCP/IP；URLs； The Design and Implementation of web of Spider Li Wei (College of Information Science and Engineering,Jishou University,Jishou,Hunan 416000) Abstract SPIDER is a program which can auto collect informations from internet. SPIDER can collect data for search engines, also can be a Directional information collector, collects specifically informations from some web sites, such as HR informations, house rent informations. In this paper, use Python with The third Labriary are based on (TCP/IP)This paper expatiates some major problems of SPIDER: and how to implement data structure; HTML code parse. etc.  This SPIDER can collect URLs from one web site, and store URLs into database. make the results and statistics，display the results of data packet capture and so on. Key words: SPIDER; python; TCP/IP;URL 目 录 TOC \o 1-3 \h \z \u HYPERLINK \l _Toc25620 第一章 引言 PAGEREF _Toc25620 1 HYPERLINK \l _Toc29539 1.1 课题背景及意义 PAGEREF _Toc29539 1 HYPERLINK \l _Toc7964 1.2 课题研究现状 PAGEREF _Toc7964 1 HYPERLINK \l _Toc5297 1.3 研究内容 PAGEREF _Toc5297 1 HYPERLINK \l _Toc30886 1.4论文组织方式 PAGEREF _Toc30886 2 HYPERLINK \l _Toc12765 第二章 关键技术 PAGEREF _Toc12765 3 HYPERLINK \l _Toc32099 2.1 easy_install PAGEREF _Toc32099 3 HYPERLINK \l _Toc511 2.1.1requests;for Humans的网络库 PAGEREF _Toc511 3 HYPERLINK \l _Toc6291 2.1.2 wget:命令行下载工具 PAGEREF _Toc6291 3 HYPERLINK \l _Toc6609 2.2 抓包工具 PAGEREF _Toc6609 3 HYPERLINK \l _Toc28820 2.2.1 firebugs PAGEREF _Toc28820 3 HYPERLINK \l _Toc8325 2.2.2 URL消重 PAGEREF _Toc8325 5 HYPERLINK \l _Toc26