如何快速检索多页REST查询

Question

我正在使用python中的github API。

Github将大多数GET响应限制为每页最多100个项目。每个请求都需要几秒钟，因此20页请求不是一个很好的用户体验。

同时发出请求的pythonic方式是什么。

Answer 1

有很多方法可以做到这一点。最简单的可能是使用concurrent.futures模块（或Python {x的backported version）。

但是，要记住的一件非常重要的事情是GitHub对其API应用速率限制，并且您不能只是根据需要制作任意数量的请求而不会遇到这些速率限制。因此，请务必检查HTTP / 429错误并相应地退回。