保持报废运行

时间:2013-12-08 19:13:53

标签: scrapy scrapyd

我在debian机器上安装了scrapy和scrapyd。我使用ssh-tunnel登录此服务器。然后我开始使用scrapyd:     scrapyd

Scrapyd启动正常,然后我打开另一个ssh-tunnel到服务器并安排我的蜘蛛: curl localhost:6800 / schedule.json -d project = myproject -d spider = myspider

蜘蛛跑得很好,一切都很好。

问题是当我退出启动报废的会话时,报废停止运行。这使我无法使用cron到schdedule蜘蛛与scrapyd,因为当cronjob启动时scrapyd没有运行。

我的简单问题是:如何保持scrapyd运行,以便在我退出ssh会话时不会关闭。

3 个答案:

答案 0 :(得分:1)

在屏幕会话中运行:

$ screen
$ scrapyd

# hit ctrl-a, then d to detach from that screen

$ screen -r # to re-attach to your scrapyd process

答案 1 :(得分:1)

您可以考虑使用supervisor启动scrapyd。

这里有一个很好的.conf脚本作为要点: https://github.com/JallyHe/scrapyd/blob/master/supervisord.conf

答案 2 :(得分:0)

怎么样?     $ sudo service scrapyd start