API捕获所有分页数据？ （蟒蛇）

Question

我正在使用请求包来命中API（greenhouse.io）。 API是分页的，所以我需要循环遍历页面以获取我想要的所有数据。使用类似的东西：

results = []
for i in range(1,326+1):
    response = requests.get(url, 
                            auth=(username, password), 
                            params={'page':i,'per_page':100})
    if response.status_code == 200:
        results += response.json()

我知道通过点击headers属性有326页：

In [8]:
response.headers['link']
Out[8]:
'<https://harvest.greenhouse.io/v1/applications?page=3&per_page=100>; rel="next",<https://harvest.greenhouse.io/v1/applications?page=1&per_page=100>; rel="prev",<https://harvest.greenhouse.io/v1/applications?page=326&per_page=100>; rel="last"'

有没有办法自动提取这个号码？使用请求包？或者我需要使用正则表达式还是什么？

或者，我应该以某种方式使用while循环来获取所有这些数据？什么是最好的方法？有什么想法吗？

Answer 1

python请求库（http://docs.python-requests.org/en/latest/）可以在这里提供帮助。基本步骤将是（1）所有请求并从标题中获取链接（您将使用它来获取最后一页信息），然后（2）循环结果直到您进入最后一页。

idx = str.split('').each_with_index do |c, i| 
  break i if ['a','e','i','o','u'].include? c
end
idx.is_a?(Numeric) ? idx : nil

str =~ /#{['a','e','i','o','u'].join('|')}/

str.index Regexp.union(['a','e','i','o','u']) # credits @steenslag