使用python请求获取所有页面

时间:2015-08-08 05:39:45

标签: python pagination python-requests

我正在使用api从网站上获取订单。问题是,它一次只能获取20个订单。我想我需要使用分页迭代器,但不知道使用它。如何一次获取所有订单。

我的代码:

def search_orders(self):
    headers = {'Authorization':'Bearer %s' % self.token,'Content-Type':'application/json',}
    url = "https://api.flipkart.net/sellers/orders/search"
    filter = {"filter": {"states": ["APPROVED","PACKED"],},}
    return requests.post(url, data=json.dumps(filter), headers=headers)

以下是文档链接。

Documentation

1 个答案:

答案 0 :(得分:7)

您需要执行文档建议的内容 -

  

第一次调用Search API会根据pageSize值返回有限数量的结果。 调用响应的nextPageURL字段中返回的网址会获得搜索结果的后续页面。

     

nextPageUrl - 字符串 - 此URL上的GET调用将获取下一页结果。最后一页不存在

(强调我的)

您可以使用response.json()获取响应的json。然后,您可以检查标记 - hasMore - 以查看是否还有更多内容,如果是,请使用requests.get()获取下一页的响应,并继续执行此操作直到hasMore为false。示例 -

def search_orders(self):
    headers = {'Authorization':'Bearer %s' % self.token,'Content-Type':'application/json',}
    url = "https://api.flipkart.net/sellers/orders/search"
    filter = {"filter": {"states": ["APPROVED","PACKED"],},}
    s = requests.Session()
    response = s.post(url, data=json.dumps(filter), headers=headers)
    orderList = []
    resp_json = response.json()
    orderList.append(resp_json["orderItems"])
    while resp_json.get('hasMore') == True:
        response = s.get('"https://api.flipkart.net/sellers{0}'.format(resp_json['nextPageUrl']))
        resp_json = response.json()
        orderList.append(resp_json["orderItems"])
    return orderList

以上代码应返回完整的订单列表。