如何从外部API正确读取所有更改的实体

Question

我需要正确遍历某些外部API中的所有项目。所有项目都有“update_time”属性，我可以按升序或降序查询API中的项目。我应该使用哪个来正确获取所有项目而不会遗漏任何项目？

事实：

• 外部API已分页（限制和页面参数已修复），我无法通过一个查询查询所有项目。
• 查询项目需要一些时间。
• 处理收到的物品需要一些时间。
• 在查询或处理项目页面时，可以更改外部系统中的项目 - ＆gt;这会导致更新其“update_time”属性并影响排序（分页），因此下一页API调用可能会导致收到的项目列表中出现“间隙”。

我不想每次处理所有项目 - 只有最后一次遍历的更新项目（例如，此任务每隔1小时安排一次） - 我存储所有收到项目的“last_update”属性的最大值并跳过处理旧项目下一个遍历。

谢谢，想象一下真的很复杂。