启动Scrapyd作为服务

时间:2016-03-10 11:35:22

标签: web-scraping scrapy scrapy-spider scrapyd

  1. 我想将scrapyd作为服务开始,但当我开始scrapyd时, 如果我关闭SSH会话,服务报废自动关闭。

  2. 当我尝试以这样的服务开始时,我有一个错误:

    root@vps:~# service scrapyd start
    scrapyd: Failed to start scrapyd.service: Unit scrapyd.service failed to load: No such file or directory.
    
  3. 当我尝试启动daemon scrapyd时,CURL请求返回:

    {"status": "error", "message": "Use \"scrapy\" to see available commands", "node_name": "vps"}
    
  4. 有人可以帮助我开始我的报废作为服务!

2 个答案:

答案 0 :(得分:0)

daemon --chdir=/home/Crawler scrapyd

我需要设置--chdir以在Scrapy文件夹上加载服务!

答案 1 :(得分:0)

我无法通过 /etc/rc.local crontab 抓紧工作,所以找到了解决方法。我相信会有更好的方法,但就此而言,这对我有用。

我创建了一个python文件start.py

import os

os.system('/usr/bin/python3 /home/ubuntu/.local/bin/scrapyd > /home/ubuntu/scrapy.log &')

只需通过crontab调用python文件start.py

通过cronat -e将其添加到crintab文件中。

@reboot /usr/bin/python3 /home/ubuntu/start.py

基本上,我所做的是通过crontab调用python filr来通过外壳执行scrapy。

如果有人发现更好的东西,请发表评论。