我习惯这样做是为了检查HTML并找出xpaths:
$ scrapy shell http://www.domain.com/whatever
现在我有一只必须接受一些争论的蜘蛛。像
这样的东西$ scrapy crawl -a arg1=one MySpiderForDomainDotCom
我仍然想从命令行调用shell。但是现在scrapy尝试使用/加载我的蜘蛛(文档说它以这种方式做)并且我得到一个错误,说蜘蛛没有参数。 我的问题是当蜘蛛必须接收参数时如何从命令行调用shell?
我尝试了一些东西和组合,在网上搜索,但没有...
PS:scrapy 0.22.2
PS2:我不想从我的蜘蛛中调用shell。
答案 0 :(得分:0)
简单的解决方案是简单地调用:
$ scrapy shell
从命令行,一旦启动控制台:
>>> fetch('http://www.domain.com/whatever')
scrapy shell命令将加载您在settings.py中定义的所有已设置的设置。这不会引发任何蜘蛛。