如何使用Scrapy抓取之前需要解析的数据?

时间:2017-12-10 18:32:08

标签: python-3.x scrapy web-crawler

我想使用scrapy spider从opendota.com获取有关Dota 2的数据。

我想以matchID = 3610252548为例,抓取所有数据(matchiddurationregiontotalkills Radiant和{{1我需要然后增加totalkillsDire和抓取等等。

问题:

  1. 需要通过matchID +1https://www.opendota.com/request)请求数据,因此需要几秒钟(约15-20)才能获得数据。
  2. 我想将匹配请求的数量限制为3 / min,以保持服务器上的负载较小。

    MatchID

    这是我迄今为止的一点代码。谢谢你的帮助!

0 个答案:

没有答案