我刚刚在Ubuntu 14.04上安装了scrapyd,安装完成后,我只需在命令行中输入“scrapyd”即可:
无法加载应用程序:没有名为txweb的模块
我使用了普通和特定于Ubuntu的installations,但似乎都没有用。仅仅为了某些背景,我决定在创建一个运行多个蜘蛛的项目之后使用scrapyd,但是无法将已删除的数据传输到两个不同的表中。我看了一些像this一样的其他SO帖子,但他们似乎正在解决旧版本的scrapyd,这可能不再适用了。
有人可以告诉我如何开始使用scrapyd,因为文档中提供的信息对我来说似乎不起作用,谢谢。
答案 0 :(得分:4)
虽然文档有apt-get ... pip是更好的安装scrapy的方法(从来没有对我失败)
sudo pip install scrapyd
适用于我,然后scrapyd
不会出错。
使用apt-get安装时,可能无法安装twisted,但是pip可以解决这个问题。
首先尝试卸载apt-get scrapyd,然后使用pip进行安装
sudo apt-get purge scrapyd
sudo pip install scrapyd
-------------- UPDATE ------------
在评论中回答您的下一个问题......
如果您想运行scrapyd-deploy
,还需要安装未与scrapy-client
一起安装的软件包scrapy
。这在文档中提到 - http://scrapyd.readthedocs.org/en/latest/deploy.html
您可以使用sudo pip install scrapyd-client