毕业设计(论文)-网络爬虫设计.doc

毕业设计(论文)-网络爬虫设计 摘 要 近年来，随着互联网的发展，如何高效地从互联网上获取所需的信息，成为无数个互联网公司竞相研究的新方向。在这个大数据的时代里，谁能获取更多有用的数据，谁就有机会获取更大的利益，而从互联网上获取数据最常用的手段就是网爬虫。 网络爬虫又被称为做网络蜘蛛、网络机器人，它是一种能够根据给定URL按照一定的规则，自动搜集互联网数据信息的程序。本课题实现一个基于Python的网络爬虫程序系统。在本论文中，主要阐述了，实现网络爬虫的过程中的一些主要问题，例如：如何用Python模拟登录，如何使用正则表达式匹配字符串获取信息，如何使用MySQL存储数据等。 通过这个爬虫程