在终端中启动报废时发生致命错误

时间:2015-07-13 20:20:42

标签: python web-scraping scrapy scrapyd

我刚刚在Ubuntu 14.04上安装了scrapyd,安装完成后,我只需在命令行中输入“scrapyd”即可:

无法加载应用程序:没有名为txweb的模块

我使用了普通和特定于Ubuntu的installations,但似乎都没有用。仅仅为了某些背景,我决定在创建一个运行多个蜘蛛的项目之后使用scrapyd,但是无法将已删除的数据传输到两个不同的表中。我看了一些像this一样的其他SO帖子,但他们似乎正在解决旧版本的scrapyd,这可能不再适用了。

有人可以告诉我如何开始使用scrapyd,因为文档中提供的信息对我来说似乎不起作用,谢谢。

1 个答案:

答案 0 :(得分:4)

虽然文档有apt-get ... pip是更好的安装scrapy的方法(从来没有对我失败)

sudo pip install scrapyd适用于我,然后scrapyd不会出错。

使用apt-get安装时,可能无法安装twis​​ted,但是pip可以解决这个问题。

首先尝试卸载apt-get scrapyd,然后使用pip进行安装

sudo apt-get purge scrapyd
sudo pip install scrapyd

-------------- UPDATE ------------

在评论中回答您的下一个问题......

如果您想运行scrapyd-deploy,还需要安装未与scrapy-client一起安装的软件包scrapy。这在文档中提到 - http://scrapyd.readthedocs.org/en/latest/deploy.html

您可以使用sudo pip install scrapyd-client

进行安装