Question

我开发了一个具有3级继承的scrapy项目：

[root_scrapy] / lib / basedSpider：包含所有抓取过程，在xpath上循环等。
[root_scrapy] / lib / myspider：包含搜索信息的所有xpath＆amp;继承自basedSpider
[root_scrapy] / spiders / myspider：Wich包含多个只有starts_urls / name＆amp;的蜘蛛。继承自lib / myspider

我想创建一个python脚本来启动包含在蜘蛛/ myspiders上的所有蜘蛛，以避免调用（或crontab）scrapy抓取name1 | name2 | name3 |等。

我尝试使用＆＃34; scrapy启动脚本＆＃34;以及其他许多解决方案Running multiple spiders in the same process。谷歌搜索结果，但每次我都

ImportError: No module named project.project.spiders.myspider

或在我的脚本上使用sys.path.append

ImportError: No module named project.project.lib.myspider

目前我无法从python脚本中启动多个蜘蛛..

有人成功了吗？或者是否可以创建一个全球蜘蛛，它会调用所有其他蜘蛛，我可以使用 scrapy crawl myGlobalSpider

启动它

提前致谢