Question

大家好。因此，我需要通过API调用检查数据库中的大量行。我设法做到了，但是速度很慢。

我的代码正在执行以下步骤：

1。）我从本地数据库中选择唯一标识符。

2。）我通过curl_multi（当时为100）在远程数据库上进行了检查。

3。）根据状态码，我更新数据库中的行。

4。）重复前3步，直到选中所有行。

如何加快此过程？目前，检查600行需要超过一分钟的时间。

    foreach ($data as $d){
    $kupci = [];
    $upit = "SELECT * FROM database_table WHERE provjeren IS NULL LIMIT 100";
    $result = $conn->query($upit)
    while ($r = mysqli_fetch_assoc($result)) {
        $kupci[] = $r;
    }
    $node_count = count($kupci);
    $curl_arr = array();
    for ($i = 0; $i < $node_count; $i++) {
        $ID = str_replace(" ","%20",$kupci[$i]['Customer_ID']) ;
        $url = "someapiurl/$ID";
        $curl_arr[$i] = curl_init($url);
        curl_setopt($curl_arr[$i], CURLOPT_HTTPHEADER, array("Authorization: Bearer"));
        curl_setopt($curl_arr[$i], CURLOPT_RETURNTRANSFER, true);
        curl_setopt($curl_arr[$i], CURLOPT_ENCODING,  '');
    }
    $master = curl_multi_init();
    for ($i = 0; $i < $node_count; $i++) {
        curl_multi_add_handle($master, $curl_arr[$i]);
    }
    do {
        curl_multi_exec($master, $running);
    } while ($running > 0);
    for ($i = 0; $i < $node_count; $i++) {
        $results = curl_multi_getcontent($curl_arr[$i]);
        $link = curl_getinfo($curl_arr[$i], CURLINFO_EFFECTIVE_URL);
        $id = substr($link, strrpos($link, '/') + 1);
        $statusCode = curl_getinfo($curl_arr[$i], CURLINFO_RESPONSE_CODE);
        if ($statusCode == 204) {
            $conn->query("UPDATE database_table SET provjeren = 1, prigovor = 1, datum = now() WHERE Customer_ID = '$id'");
        } elseif ($statusCode == 404) {
            $conn->query("UPDATE database_table SET provjeren = 1, prigovor = 0, datum = now() WHERE Customer_ID = '$id'");
        }elseif ($statusCode == 429){
            echo "Previše";
        }elseif ($statusCode == 200){
            $conn->query("UPDATE database_table SET provjeren = 1, prigovor = 2, datum = now() WHERE Customer_ID = '$id'");
        }
        curl_multi_remove_handle($master, $curl_arr[$i]);
        curl_close($curl_arr[$i]);
    }
    curl_multi_close($master);
}

编辑：我尝试了Rolling-Curl并且得到了相同的结果。所以我的结论是目标服务器运行缓慢，这是我的瓶颈。在我的目标服务器上测试了500个请求，完成了36s，而在Google服务器上完成了2s。

Answer 1

您是否尝试过通过新线程运行HTTP API调用。

尝试以下PHP项目：https://github.com/petewarden/ParallelCurl

根据您需要的文档：

使并行cURL对象的最大值为同时进行HTTP连接
从API收到答案时写一个处理程序
迭代数据库中的行时编写cURL调用

如果没有帮助，请尝试衡量花费最多时间的时间（数据库提取，API调用，数据库更新）

加速php API调用

1 个答案: