二零二三年 优质公开课Scrapy设置之Feeds.pptx

Scrapy设置之Feeds;什么是Feeds;什么是Feeds; Feeds可以导出用Scrapy抓取的数据到本地或到服务器。存储路径取决于FEED_URI.FEED_URI，其中可能包括参数。 例如scrapy crawl fast -o %(name)s_%(time)s.jl，可以自动将时间和名字填入到输出文件。如果需要自定义参数，例如%(foo)s, feed输出器在爬虫中提供一个叫做foo的属性。;Feeds常用的设置; 以下是用于配置源导出的设置： ; 以上配置项的详细解释如下： FEED_URI Default：None，输出 feed 的 URI。为了启用 feed 输出，该设定是必须的。 FEED_FORMAT：输出 feed 的序列化格式。可用的值请参见序列化方式(Serialization formats)。 FEED_STORE_EMPTY：Default:False，是否输出空 feed(没有 item 的 feed)。 FEED_STORAGES：Default::{}，包含项目支持的额外 feed 存储端的字典。 字典的键(key)是 URI 协议(scheme)，值是存储类(storage class)的路径。 ; FEED_STORAGES_BASE：默认如下: { : scrapy.contrib.feedexport.FileFeedStorage, file: scrapy.contrib.feedexport.FileFeedStorage, stdout: scrapy.contrib.feedexport.StdoutFeedStorage, s3: scrapy.contrib.feedexport.S3FeedStorage, ftp: scrapy.contrib.feedexport.FTPFeedStorage, }; FEED_EXPORTERS_BASE：默认如下:FEED_EXPORTERS_BASE = { json: scrapy.contrib.exporter.JsonItemExporter, jsonlines: scrapy.contrib.exporter.JsonLinesItemExporter, csv: scrapy.contrib.exporter.CsvItemExporter, xml: scrapy.contrib.exporter.XmlItemExporter, marshal: scrapy.contrib.exporter.MarshalItemExporter, } 包含 Scrpay 内置支持的 feed 输出器（exporter）的字典。;1.什么是Feeds2.Feeds的常用设置