标签: scrapy
我有一个API的蜘蛛。 API以您调用URL的方式工作,这会为您提供一个授权令牌,该令牌在几分钟内有效进行API调用。
我现在看到的问题是我做了这个调用,并将令牌传递给所有底层请求,但是当令牌过期时,请求开始失败。
最好的方法是什么?理想情况下,我只是每分钟安排令牌请求,并将令牌共享为请求在执行时使用的某种变量。但我认为这是不可能的。