动态Scrapy设置

时间:2014-09-23 02:43:10

标签: scrapy scrapyd

我有一个带有多个蜘蛛的Scrapy项目。该项目托管在scrapyd实例上。 我希望能够动态更改项目settings.py文件中的设置(例如DOWNLOADER_MIDDLEWARES)。

是否可以在向scrapyd实例发送请求时更改这些设置。请注意,我不想创建多个项目,因为这会导致跨项目复制公共代码。

由于

1 个答案:

答案 0 :(得分:1)

您可以使用-d参数

将参数传递给scrapyd并更改设置
curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider -d setting=DOWNLOAD_DELAY=2 -d arg1=val1