使用API​​在分页数据达到限制时停止

时间:2017-04-17 00:09:06

标签: python-3.x socrata

我使用API​​(分页数据)从数据库使用进行循环一次调用1000条记录,并希望如果数据库记录达到其限制,循环应该终止。

我在url中使用限制和偏移但是我没有在最后一条记录停止,而是从第一条开始追加记录,除非循环终止。

注意:范围结束是未知的。

1 个答案:

答案 0 :(得分:0)

根据我的理解,你是在循环搜索从Socrata获得的数据,所以这就是你能做的:

  1. 您可以选择数据集中存在的总行数,然后根据该数字进行循环,而不是盲目循环分页数据。这是一个用于获取计数的示例查询。

    https://host.socrata.com/resource/four-four.json??$select=COUNT(*)
    
  2. 第二种方式,如果您之前不希望获得行计数,在循环浏览Socrata数据的某个时刻,如果您分页过多,您将只收到一个空数据集,以便您可以在这一点上突破你的循环。