包含来自另一个scrapy项目的文件

Question

在scrapy项目中：jobs，我有output_json.py class JsonPipeline。

我想问一下，我可以将它直接包含在另一个名为fan的蜘蛛中，例如：

ITEM_PIPELINES = {
    'fan.pipelines.FandangoPipeline': 100,                
    # 'jobs.output_json.JsonPipeline': 250,    #how to include this??
}

所以我不必将文件复制到fan项目中 请指导我谢谢!!

Answer 1

如果sys.path上有jobs个套餐，则可以使用：

ITEM_PIPELINES = {
    'fan.pipelines.FandangoPipeline': 100,                
    'jobs.output_json.JsonPipeline': 250
}

尽管如此，我不这样做，因为让一个scrapy项目依赖于另一个scrapy项目是不对的。更好地将管道提取到一个单独的项目中，并在两个scrapy项目中重用。

仅供参考，为了举个例子，这里有一个fake-useragent pipeline我已经把github用在不同的项目中作为依赖。