我正在使用带有scrapy的图像管道。
items.py文件定义了image_urls = Field()和image_paths = Field()
在调试模式下,根据发送到stout的内容正确填充两个字段。
同时我的settings.py包含第二个管道,它将所有字段数据发送到elasticsearch。然后,由于某种原因,image_paths字段不包含在item [] dict。
中我不知道问题是什么。也许有趣的是注意到image_urls是从spider中填充的,而image_paths是从process_item()方法中的images管道填充的。
两条管道的顺序定义为在elasticsearch管道(数字参数“200”)之前处理图像管道(数字参数“100”)。
所以问题是为什么不将scsearch elasticsearch管道与图像管道结合起来实现它的方式呢?