在多个蜘蛛中运行scrapyd

时间:2021-03-22 10:21:14

标签: python scrapy web-crawler scrapyd

我想用多个蜘蛛运行scrapyd,我在我的文件夹项目中创建了这样的配置文件:

[scrapyd]
eggs_dir    = eggs
logs_dir    = logs
logs_to_keep = 5
dbs_dir     = dbs
max_proc    = 10
max_proc_per_cpu = 4
http_port   = 6800
debug       = off
runner      = scrapyd.runner
application = scrapyd.app.application

我已经像这样更改了scrapyd库中的app.py:

timer = TimerService(0.1, poller.poll)

为什么我的scrapyd会出现这样的错误:

{"status": "error", "message": "spider 'emerald,garuda,jurnalptika,neliti' not found"}

这是我运行scrapyd的命令

curl http://localhost:6800/schedule.json -d project=akhirat -d spider=emerald,garuda,jurnalptika,neliti -d variabel=covid

在这段代码中有一个“变量”,它是 start_url 中的一个参数

0 个答案:

没有答案