Question

我想通过以下方式使用scrapy

from scrapy.crawler import CrawlerProcess

process = CrawlerProcess({
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)' })

process.crawl(my_super_scraper) 
process.start()

它可以与my_super_scraper一起使用，但是我不知道如何导出为CSV。我也无法在文档中找到它。

Answer 1

您需要如下设置FEED_FORMAT和FEED_URI参数：

from scrapy.crawler import CrawlerProcess

process = CrawlerProcess({
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)', 
    'FEED_FORMAT': 'CSV', 
    'FEED_URI': 'file:///tmp/export.csv',
})

process.crawl(my_super_craper)
process.start()

有关https://docs.scrapy.org/en/latest/topics/feed-exports.html此处的提要导出的更多信息

这篇文章显示了如何导出为JSON格式： Scrapy process.crawl() to export data to json

使scrapy导出到csv

1 个答案: