Question

我如何清除刮擦作业列表？当我启动任何蜘蛛时，我都有很多特定蜘蛛的工作，我知道如何杀死所有蜘蛛？阅读文档后，我完成了下一个代码，我将其循环运行：

cd = os.system('curl http://localhost:6800/schedule.json -d project=default -d spider=google > kill_job.text')
file = open('kill_job.text', 'r')
a = ast.literal_eval(file.read())
kill='curl http://localhost:6800/cancel.json -d project=default -d job={}'.format(a['jobid'])
pprint(kill)

cd = os.system(kill)

，但是看起来不起作用。我如何杀死所有作业，因为即使我在下一次启动时手动完成了scrapy的过程，所有作业也会回来。找到此https://github.com/DormyMo/SpiderKeeper用于项目管理。有人知道如何包括现有项目吗？

Answer 1

所以，我不知道我的第一个示例出了什么问题，但是我解决了以下问题：

cd = os.system('curl http://localhost:6800/listjobs.json?project=projectname > kill_job.text')
file = open('kill_job.text', 'r')
a = ast.literal_eval(file.read())
b = a.values()
c = b[3]
for i in c:
    kill = 'curl http://localhost:6800/cancel.json -d project=projectname -d job={}'.format(i['id'])
    os.system(kill)

我如何清除易碎的工作清单？

1 个答案: