我在debian机器上安装了scrapy和scrapyd。我使用ssh-tunnel登录此服务器。然后我开始使用scrapyd: scrapyd
Scrapyd启动正常,然后我打开另一个ssh-tunnel到服务器并安排我的蜘蛛: curl localhost:6800 / schedule.json -d project = myproject -d spider = myspider
蜘蛛跑得很好,一切都很好。
问题是当我退出启动报废的会话时,报废停止运行。这使我无法使用cron到schdedule蜘蛛与scrapyd,因为当cronjob启动时scrapyd没有运行。
我的简单问题是:如何保持scrapyd运行,以便在我退出ssh会话时不会关闭。
答案 0 :(得分:1)
在屏幕会话中运行:
$ screen
$ scrapyd
# hit ctrl-a, then d to detach from that screen
$ screen -r # to re-attach to your scrapyd process
答案 1 :(得分:1)
您可以考虑使用supervisor启动scrapyd。
这里有一个很好的.conf脚本作为要点: https://github.com/JallyHe/scrapyd/blob/master/supervisord.conf
答案 2 :(得分:0)
怎么样? $ sudo service scrapyd start