Scrapy:FEED_FORMAT设置效果不佳?

时间:2014-02-03 23:56:14

标签: python csv scrapy

使用Scrapy,我不知道如何在settings.py中设置FEED_FORMAT。

我该做:

import csv
FEED_FORMAT = csv

或:

FEED_FORMAT = 'csv'

无论哪种方式,我都无法获得与使用相同的结果:

-t csv

在终端的命令行中。

感谢您的帮助!

2 个答案:

答案 0 :(得分:2)

FEED_FORMAT = 'csv'

应该可行,但您仍需要添加-o file.csv或将FEED_URI添加到settings.py

FEED_URI = 'file.csv'

答案 1 :(得分:0)

在不使用Scrapy cli的情况下,使用CrawlerProcess可以很好地工作。您还可以在“ FEED_EXPORT_FIELDS”中指定要包含的字段。

class CustomSpider(Spider):
    name = 'custom_spider'
    custom_settings = {      
        'FEED_EXPORT_FIELDS': ["url", "desc"],
        'FEED_FORMAT': 'csv',
        'FEED_URI': 'feed-test.csv'
    }

    def __init__(self):
        pass

    def start_requests(self):
        ...