Scrapy：如何在CSV输出中添加为条目编号的项目？

Question

我需要在蜘蛛程序(item['number'] = ... )中包含一个项目，该项目只是按升序为CSV输出文件中的每个抓取行分配一个数字。

因此，“数字”列会将1分配给第一行，将2分配给第二行，依此类推。我将如何编码商品以每次返回+1增量的方式返回商品？

*如果您想知道，我需要将数字列用作多维数据集数据库的Dim主键。

感谢您的帮助。谢谢！

Answer 1

当您读取csv文件时，可以像这样使用enumerate：

import csv

with open('file.csv', 'w') as csvfile:
    reader = csv.reader(csvfile)
    for i, row in enumerate(reader, start=1):
        print(i)

Answer 2

如果您确实希望数字成为项目生成过程和输出的一部分，则可以使用Pipeline。

your_string <- "quel écrivain ?" URLencode(your_string, reserved = TRUE) # [1] "quel%20%C3%A9crivain%20%3F"

settings.py

ITEM_PIPELINES = { "myspider.pipelines.NumberPipeline": 300, }

pipelines.py