scrapy crawl [spider-name]错误

Question

大家好我正在使用scrapy框架和python构建一个Web抓取项目。 在我的项目的spider文件夹中，我有两个名为spider1和spider2

的蜘蛛

spider1.py

class spider(BaseSpider):
    name= "spider1"
    ........
    ........

spider2.py

class spider(BaseSpider):
    name="spider2"
    ............
    ...........

settings.py

SPIDER_MODULES = ['project_name.spiders']
NEWSPIDER_MODULE = ['project_name.spiders']
ITEM_PIPELINES = ['project_name.pipelines.spider']

现在，当我在根项目文件夹中编写命令scrapy crawl spider1时，它调用spider2.py而不是spider1.py。当我从项目中删除spider2.py时，它会调用spider1.py

早些时候1天回来工作正常1个月但突然发生了什么我无法弄清楚请帮帮我们

Answer 1

我解决了同样的问题，但是从我项目中的任何地方删除所有* .pyc文件都可以完成这项工作。

特别是我认为settings.pyc很重要。

希望有所帮助。

Answer 2

以Nomad的答案为基础。 您可以通过添加以下内容来避免在开发期间创建除一个pyc文件之外的所有文件：

//graph.facebook.com/100001473111658/picture?type=large

到项目的“ __ init __。py ”文件。

这将阻止创建 .pyc 文件。如果您正在处理项目并重命名蜘蛛的文件名，则特别有用。防止旧蜘蛛的缓存pyc和其他一些陷阱。