Question

我仍然认为自己是Python的新手，所以请耐心等待！我试图使用Scrapy从网站收集一些数据。我收集了数据后，我希望将其导出为CSV文件。到目前为止，我尝试使用以下代码导致文件根本没有设置为表格。

我的导出代码：

scrapy crawl products -o myinfo.csv -t csv

我总结说我需要编写一些管道来定义我的列标题。尽我所能，这意味着在以下两个文件中编写以下代码。

pipelines.py

class AllenheathPipeline(object):
    def process_item(self, item, spider):
        return item


from scrapy.conf import settings
from scrapy.contrib.exporter import CsvItemExporter

class AllenHeathCsvItemExporter(CsvItemExporter):

    def __init__(self, *args, **kwargs):
        delimiter = settings.get('CSV_DELIMITER', ',')
        kwargs['delimiter'] = delimiter

        fields_to_export = settings.get('FIELDS_TO_EXPORT', [])
        if fields_to_export :
            kwargs['fields_to_export'] = fields_to_export

        super(AllenHeathCsvItemExporter, self).__init__(*args, **kwargs)

settings.py

BOT_NAME = 'allenheath'

SPIDER_MODULES = ['allenheath.spiders']
NEWSPIDER_MODULE = 'allenheath.spiders'

ITEM_PIPELINES = {
    'allenheath.pipelines.AllenheathPipeline': 300,
    'allenheath.pipelines.AllenHeathCsvItemExporter': 800,
}

FEED_EXPORTERS = {
    'csv': 'allenheath.allen_heath_csv_item_exporter.AllenHeathCsvItemExporter',
}
FIELDS_TO_EXPORT = [
    'model',
    'shortdesc',
    'desc',
    'series'
]

CSV_DELIMITER = "\t" # For tab

不幸的是，一旦我再次运行导出命令：

scrapy crawl products -o myinfo.csv -t csv

我收到此错误：

File "C:\allenheath\allenheath\pipelines.py", line 27, in __init__
  super(AllenHeathCsvItemExporter, self).__init__(*args, **kwargs)
TypeError: __init__() takes at least 2 arguments (1 given)

我非常感谢任何帮助或指导，因为我在这里打了一堵砖墙。谢谢。

Answer 1

您不需要定义用于导出为CSV的管道。

自动化的Scrapy句柄，有关标题的信息取自您的Item定义。

放下管道然后再试一次。顺便说一下，-t csv在最新的Scrapy版本中是可选的：目标格式来自文件扩展名。

使用Scrapy时如何导出到csv？

1 个答案: