大数据技术与应用基础第2章数据获取.pptx

能力 CAPACITY 要求 熟悉网络爬虫。 了解爬虫常用的方法，掌握爬虫环境的搭建。 具有良好的职业道德。 爬虫项目创建 Scrapy环境搭建 采集目标数据项定义 爬虫核心实现 数据存储 爬虫运行 一、Scrapy环境搭建 所需环境：  python 2.7  lxml-3.5.0  pyOpenSSL-0.13.1  pywin32-219  setuptools-0.7  twisted-15.4.0  erface-4.1.3  Scrapy-1.0 搭建时，应先搭建python和其他几个环境，最后安装Scrapy环境。 Scrapy环境搭建 爬虫项目创建 采集目标数据项定义 爬虫核心实现 数据存储 爬虫运行 二、爬虫项目创建 scrapy startproject SinanewsSpider 在windows命令行操作模式下： 其中，SinanewsSpider为所创建的爬虫项目的名称。此时在相应的目录下出现SinanewsSpider爬虫项目。 二、爬虫项目创建 我们建立一个自己的爬虫，文件名为SinanewsSpider.py，爬虫代码则主要是在所建的爬虫文件中 在项目路径下： 在SinanewsSpider→SinanewsSpider路径下，文件items.py、pipelines.py以及settings.py也是后续需要使用的到的文件。 Scrapy环境搭建 采集目标数据项定义 爬虫项目创建 爬虫核心实现 数据存储 爬虫运行 三、采集目标数据项定义 1、根据需要定义数据项 （标题，内容，时间，图片链接地址，网页链接地址，发表时间） 爬虫实例的实现过程：（以采集新浪本地新闻为例） 2、将数据存储到数据库 在MySQL数据库中建立数据表 三、采集目标数据项定义 3、根据以上数据编写代码： 爬虫实例的实现过程：（以采集新浪本地新闻为例） import scrappy class SinanewsspiderItem(scrapy.Item): #定义数据项类，从crapy.Item 继承 # define the fields for your item here like: title = scrapy.Field() #定义标题项 content = scrapy.Field() #定义内容项 pubtime = scrapy.Field() #定义发表时间 imageUrl = scrapy.Field() #定义图片链接地址 Url = scrapy.Field() #定义页面链接地址 定义好之后，就可以在写爬虫代码时，来定义属于这个数item类型的item对象了。 Scrapy环境搭建 爬虫核心实现 采集目标数据项定义 爬虫项目创建 数据存储 爬虫运行 四、爬虫核心实现 # -*- coding: utf-8 -*-1 from scrapy.spiders import Spider2 from scrapy.selector import Selector3 from scrapy import signals4 from scrapy.crawler import CrawlerRunner5 from ject import get_project_settings6 from scrapy.utils.log import configure_logging7 from scrapy.xlib.pydispatch import dispatcher8 from ernet import reactor9 from time import ctime,sleep10 from scrapy.spiders import Spider11 from scrapy.selector import Selector12 from scrapy import signals13 from scrapy.crawler import CrawlerRunner14 from ject import get_project_settings15 from scrapy.xlib.pydispatch import dispatcher16 from ernet import reactor17 from i