如何在Scrapy中使用scrapy-jsonrpc

Question

我需要 scrapy-jsonrpc 来监控我的蜘蛛。我在我的Scrapy项目的settings.py中添加了参数，

JSONRPC_ENABLED=True 
JSONRPC_LOGFILE=None 
JSONRPC_PORT=[6080, 7030] 
JSONRPC_HOST='127.0.0.1'

但是当我指向http://localhost:6080/crawler时，它不起作用。似乎Web服务不起作用，但我不知道如何。

Answer 1

我相信你正在使用Scrapy 1.0 +。

scrapy-jsonrpc上的当前文档不完整。他们缺少安装说明。

在Scrapy 1.0中，Web服务已从内置扩展程序中删除，因此您需要在设置中启用它。

请确保：

• 安装scrapy-jsonrpc（例如pip install scrapy-jsonrpc）
• 声明了扩展名，

e.g。

EXTENSIONS = {
    'scrapy_jsonrpc.webservice.WebService': 500,
}

• JSONRPC_ENABLED=True
• scrapy-jsonrpc的其余设置（在你的问题中看起来很好）