报废服务和定期报废在virtualenv

时间:2017-03-15 15:08:41

标签: python ubuntu web-scraping scrapy scrapyd

我第一次在Ubuntu 14.04中安装 scrapyd 时,我没有使用通用方法。

使用 apt-get ,我的 scrapyd 被认为是可以启动的服务,并且具有(log / config / dbs ...)依赖关系 scrapy 版本已经过时了。

所以我在 virtualenv 中使用 pip 安装 scrapyd 。 虽然它是最新的,但我无法启动 scrapyd 作为服务,但我无法找到任何依赖项。 在哪里创建配置文件以链接(eggs / dbs / items / log)依赖项?

我有超过10只蜘蛛。使用远程Ubuntu服务器,我希望每个蜘蛛定期报废(例如一旦弱),并将数据发送到 mangodb 。大多数蜘蛛不必同时废弃。

scrapyd 作为服务运行最佳方法,并在我的<中定期定期运行 strong> Ubuntu服务器

0 个答案:

没有答案