我遇到了一个奇怪的Scrapy错误,它今天刚刚出现似乎没有充分的理由。它似乎与此处记录的错误类似:scrapy crawl [spider-name] fault,但我无法使用此处提供的解决方案进行修复。基本上,我有多个蜘蛛(spider1,spider2等)在同一个项目中都有不同的名字,但当我要求Scrapy开始一个特定的蜘蛛时:
scrapy crawl spider1
scrapy开始执行我的spiders文件夹中的所有蜘蛛。我试图启动一个新项目并出现同样的问题。感谢任何帮助!
Scrapy版本是最新的1.03,在Ubuntu 12.04上