《大数据导论》课件——3.5.3Scrapy项目搭建.pptx

大数据导论

Scrapy项目搭建————数据采集

需求说明Scrapy项目开发可以有多种方式，可以使用Python自带的可视化开发工具IDLE，也可以使用其它支持Python开发的开发工具。本课将基于IDEA集成开发环境讲解搭建一个爬取新浪网的新闻模块的Scrapy项目。

需求说明爬取字段：标题数据目标HTML区域：divid=xy-impcon/div

创建项目1、打开IDEA，“新建项目”2、项目类别选择“Python”3、ProjectSDK选择本机安装的python版本，点击“下一步”

创建项目4、设置项目名：SinaProject5、设置项目位置，本课项目位置是E:\TeachProjects\PythonProjects\SinaProject6、点击完成

创建项目此时，SinaProject项目还仅仅是普通的python项目。7、点击IDEA的左下角的“Terminal”8、输入创建Scrapy项目的命令，项目名为GetNews。scrapystartprojectGetNews可以看到工程列表中已新增了一个GetNews的文件夹

Scrapy常用命令创建项目：scrapystartprojectxxx进入项目：cdxxx#进入某个文件夹下创建爬虫：scrapygenspiderxxx（爬虫名）（网站域名）生成文件：scrapycrawlxxx-oxxx.json(生成某种类型的文件)运行爬虫：scrapycrawlXXX列出所有爬虫：scrapylist获得配置信息：scrapysettings[options]

新增item模型Item用来定义结构化数据字段，用来保存爬取到的数据。可以通过创建一个scrapy.Item类，并且定义类型为scrapy.Field的类属性来定义一个Item（可以理解成类似于ORM的映射关系）在Items.py文件中，创建一个NewsItem类，和构建item模型（model），添加news_title属性，如图。

编写爬虫1、点击IDEA的左下角的“Terminal”2、切换到GetNews项目：cdGetNews3、输入创建爬虫的命令：scrapygenspidernews此时，在项目下的spider目录下，已新增了一个news.py的爬虫文件

编写爬虫打开spider目录下的news.py爬虫文件，做如图修改。由于需要在IDEA中执行，确保name值与爬虫类名一致。

编写爬虫修改爬虫的parse方法，对response对象解析提取数据。这里使用了Xpath对爬取的内容进行解析。本课中，仅打印出爬取的标题，不做存储。

运行爬虫打开setting.py文件，设置忽略robots.txt规则，修改。ROBOTSTXT_OBEY=False在terminal中运行命令：scrapycrawlNewsSpider

谢谢观看