如何调用shell并将参数传递给蜘蛛

时间:2014-03-19 23:24:58

标签: scrapy

我习惯这样做是为了检查HTML并找出xpaths:

$ scrapy shell http://www.domain.com/whatever

现在我有一只必须接受一些争论的蜘蛛。像

这样的东西
$ scrapy crawl -a arg1=one MySpiderForDomainDotCom

我仍然想从命令行调用shell。但是现在scrapy尝试使用/加载我的蜘蛛(文档说它以这种方式做)并且我得到一个错误,说蜘蛛没有参数。 我的问题是当蜘蛛必须接收参数时如何从命令行调用shell?

我尝试了一些东西和组合,在网上搜索,但没有...

PS:scrapy 0.22.2

PS2:我不想从我的蜘蛛中调用shell。

1 个答案:

答案 0 :(得分:0)

简单的解决方案是简单地调用:

$ scrapy shell
从命令行

,一旦启动控制台:

>>> fetch('http://www.domain.com/whatever')

scrapy shell命令将加载您在settings.py中定义的所有已设置的设置。这不会引发任何蜘蛛。