如何处理大量REST API调用？

Question

我必须通过REST API调用导出包含数十万条记录的站点。

我获取了存储在mysql数据库中的所有需要​​检索的记录ID。我有一个PHP脚本获取下一个ID，使用curl进行API调用，保存数据，将ID标记为完成，然后使用a重新加载页面。

那有点慢。有关如何加快速度的想法吗？

Answer 1

不幸的是，尝试模拟线程级并行（或实际上任何级别的并行性）在PHP中是非常烦人的。幸运的是，对于您的特定用例，您只需要http://php.net/manual/en/function.curl-multi-exec.php

它基本上并行执行多个curl句柄（至少检索页面的html内容的I / O）。我认为文档中提供的示例很不错，如果您需要任何进一步的帮助，请告诉我。