如何停止多线程或如何在Scrapy中逐一提出请求?

时间:2017-02-02 11:39:15

标签: python-2.7 scrapy scrapy-spider scrapy-pipeline scrapy-shell

我尝试抓取格式的产品数据。 1)添加购物车 2)查看购物车 3)移除购物车

对于单色产品,它可以很好地工作,但对于多色产品,Scrapy采用多线程,因此上述过程不适用于每种产品。

我希望scrapy要求:

1) 产品A - ADD CART 产品A - 查看购物车 产品A - 移除购物车

2) 产品B - ADD CART 产品B - 查看购物车 产品B - 移除购物车

3) 产品C - ADD CART 产品C - 查看购物车 产品C - 移除购物车

我已经使用过(回调时优先),但没有运气。将不胜感激。在此先感谢。

1 个答案:

答案 0 :(得分:0)

您可以将CONCURRENT_REQUESTS设置为1

documentation

中所述
  

CONCURRENT_REQUESTS
  默认值:16
  Scrapy下载程序将执行的最大并发(即同时)请求数。