为什么scisions elasticsearch管道与图像管道结合使用

时间:2013-11-25 13:45:21

标签: scrapy

我正在使用带有scrapy的图像管道。

items.py文件定义了image_urls = Field()和image_paths = Field()

在调试模式下,根据发送到stout的内容正确填充两个字段。

同时我的settings.py包含第二个管道,它将所有字段数据发送到elasticsearch。然后,由于某种原因,image_paths字段不包含在item [] dict。

我不知道问题是什么。也许有趣的是注意到image_urls是从spider中填充的,而image_paths是从process_item()方法中的images管道填充的。

两条管道的顺序定义为在elasticsearch管道(数字参数“200”)之前处理图像管道(数字参数“100”)。

所以问题是为什么不将scsearch elasticsearch管道与图像管道结合起来实现它的方式呢?

0 个答案:

没有答案