scrapy-elasticsearch管道仅用于特定项目

Question

我想在我的scrapy项目中使用scrapy-elasticsearch管道。在这个项目中，我有不同的项目/型号。这些项目存储在mysql服务器中。另外，我想在ElasticSearchServer中索引这些项目之一。

但是，在文档中，我只找到索引所有已定义项目的方法，如下面的settings.py中的代码示例中所示。

ELASTICSEARCH_INDEX = 'scrapy'
ELASTICSEARCH_TYPE = 'items'
ELASTICSEARCH_UNIQ_KEY = 'url'

就像您看到的ELASTICSEARCH_TYPE一样，必须索引所有项目。是否有可能将其限制为仅一项？

Answer 1

current implementation不支持仅发送某些项目。

您可以创建原始管道的子类，并覆盖process_item方法以执行所需的操作。

如果有时间，您还可以向上游发送请求的拉取请求，并带有允许过滤项目的建议，然后再将其发送到Elasticsearch。