我有一个带有多个蜘蛛的Scrapy项目。该项目托管在scrapyd实例上。 我希望能够动态更改项目settings.py文件中的设置(例如DOWNLOADER_MIDDLEWARES)。
是否可以在向scrapyd实例发送请求时更改这些设置。请注意,我不想创建多个项目,因为这会导致跨项目复制公共代码。
由于
答案 0 :(得分:1)
您可以使用-d参数
将参数传递给scrapyd并更改设置curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider -d setting=DOWNLOAD_DELAY=2 -d arg1=val1