连续运行多个(500+)cURL命令的正确方法是什么?

时间:2019-10-18 16:05:11

标签: php curl php-curl

我正在从php页面运行cURL命令,以从第三方API访问信息。每分钟最多可以处理180个请求。

我需要更新10,000多个记录。

这是我目前的设置方式:

  1. 连接到我的MySQL数据库并找到所有需要更新的记录。这将返回10,000多个记录。
  2. 使用cURL一步一步从API获取所需的数据,然后使用新信息更新数据库。然后有0.5秒的暂停时间,以确保我不会超出每分钟最大请求数。

要使页面运行,我必须访问它。例如,我将在浏览器中访问http://example.com/run_curl.php

由于有10,000多个记录,因此需要很长时间才能完成。但是在几分钟内页面未完成加载后,我收到了504网关超时的消息。

因此,我必须刷新页面多次才能完成所有更新。

是否有更好的方法可以做到,所以我不必刷新页面20次?

0 个答案:

没有答案