scrapyd共享中间件和管道代码

时间:2014-12-10 00:35:36

标签: scrapy scrapyd

我已将几个scrapy项目部署到scrapyd实例中。他们都倾向于使用我创建的相同中间件代码,并且我在项目中重复了这些代码。

我想避免这种重复的代码。有没有办法让scrapyd上部署的scrapy项目共享相同的中间件代码,而无需将所有项目合并到一个项目中?

由于

1 个答案:

答案 0 :(得分:0)

是的,如果您创建一个中间件包并在settings.py中调用它,则可以 一个很好的例子(我经常使用的例子)就是:https://github.com/svetlyak40wt/scrapy-useragents 希望它有所帮助