我想用多个蜘蛛运行scrapyd,我在我的文件夹项目中创建了这样的配置文件:
[scrapyd]
eggs_dir = eggs
logs_dir = logs
logs_to_keep = 5
dbs_dir = dbs
max_proc = 10
max_proc_per_cpu = 4
http_port = 6800
debug = off
runner = scrapyd.runner
application = scrapyd.app.application
我已经像这样更改了scrapyd库中的app.py:
timer = TimerService(0.1, poller.poll)
为什么我的scrapyd会出现这样的错误:
{"status": "error", "message": "spider 'emerald,garuda,jurnalptika,neliti' not found"}
这是我运行scrapyd的命令
curl http://localhost:6800/schedule.json -d project=akhirat -d spider=emerald,garuda,jurnalptika,neliti -d variabel=covid
在这段代码中有一个“变量”,它是 start_url 中的一个参数