Scrapy POST formdata与单个网址

时间:2016-06-23 08:11:09

标签: python web-scraping scrapy scrapy-spider

我面临一种情况,我必须发布一些数据来获取我想要的信息。 此外,POST信息,其他任何东西都是一样的。例如,

{'data':'cat'}

该网站将显示有关猫的信息。

{'data' : 'dog'}

显示狗的信息。

问题是我需要发送数百万个数据。

我知道如何通过单线程运行这个蜘蛛。我只是想知道有没有办法可以同时运行蜘蛛?

由于

0 个答案:

没有答案