PHP Multi Curl curl_multi_select减慢了进程。另一个选项工作得更快,但有缺陷?

时间:2016-09-15 21:08:55

标签: php curl

好吧,我不知道如何很好地说出这个问题。但是我尽我所能努力让多卷曲脚本尽可能快地工作。我的第一次尝试就是直接来自PHP文档...

do {
    $mrc = curl_multi_exec($this->multi_handle, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);

while ($active && $mrc == CURLM_OK) {
    if (curl_multi_select($this->multi_handle) != -1) {
        do {
            $mrc = curl_multi_exec($this->multi_handle, $active);
        } while ($mrc == CURLM_CALL_MULTI_PERFORM);
    }
    else
        return;
}

这非常慢。对于100个条目,大约需要30秒。起初我以为没有什么可以做的,但后来我尝试了在互联网上找到的这个解决方案......

  while (($execrun = curl_multi_exec($this->multi_handle, $running)) ==                           CURLM_CALL_MULTI_PERFORM) {
    ;
  }
  if ($execrun != CURLM_OK) {
    break;
  }

这让我感到震惊,因为当我运行100个网址时,它只需不到5秒钟,所有数据都会像计划一样存储在数据库中。但问题是,如果我通过此运行500个网址,它会开始丢失一些数据或从网址复制数据。它仍然以令人难以置信的速度完成,但我没有一个缺少信息的脚本。我在这个问题上搜索了好几个星期。我有PHP 5.5。我只是无法得到一个解决方案,让它的工作速度与第二个解决方案一样快,但不会跳过像第一个解决方案那样的任何数据。我已经搜索过我的脚本,它实际上归结为这段代码。 Curl_multi_select只是循环并在开始下一个之前单独获取每个条目。第二个解决方案是我想要的速度,但不是可靠性。

以下是我正在使用的选项。它们是小写的,但可以正确添加到setopt_array中。

        ,'returntransfer'   => 1
        ,'followlocation'   => 1
        ,'maxredirs'        => 10
        ,'header'           => 0
        ,'post'             => false
        ,'timeout'          => 10
        ,'connecttimeout'   => 5
        ,'ipresolve'        => 'CURL_IPRESOLVE_V4'
        ,'httpheader'       => null
        ,'useragent'        => $_SERVER['HTTP_USER_AGENT']
        ,'encoding'         => ''
        ,'ssl_verifypeer'   => false
        ,'ssl_verifyhost'   => false

如果有任何建议或帮助,您可以让我加快curl_mutli_select或使第二个选项捕获跳过的网址或重复的网址,这将是非常棒的。我可以根据要求提供其他信息。提前谢谢。

另一个重要的问题是,第二个脚本中发生了什么,它可以让它如此快速地工作。显然,有一种方法可以使用多个卷曲脚本,速度非常快,因为它可以通过100个URL,获取内容,解析内容,非常快速地将数据存储在表中。 php文档版本刚刚被curl_multi_select所困扰,但这似乎是确保每个请求都得到处理的关键。不知何故,第二个版本正在跳过一些请求或重复请求。

1 个答案:

答案 0 :(得分:0)

好吧,我找到了一个适用于第二个例子的bandaid解决方案......并且每个url都被使用了。我有一个类,在数组中保存请求。所以我做的就是这个...

        // Now grab the information about the completed requests
    while ($info = curl_multi_info_read($this->multi_handle)) {
        //
        // tons of stuff here that is not relevant to the fix

        if(curl_getinfo($ch, CURLINFO_HTTP_CODE) == 200)
        {
            call_user_func($callback, $content, $url, $ch, $user_data, $user_data);

            unset($this->outstanding_requests[$ch_array_key]);

            curl_multi_remove_handle($this->multi_handle, $ch);
        }
        else
        {
            //unset the outstanding request so it doesn't get stuck in a loop
            unset($this->outstanding_requests[$ch_array_key]);

            //these come back as 0's, so not found. Restart the request
            self::startRequest($url);   
        }
    }

因此,解决方案是找到以HTTP:0返回的任何条目,然后重新启动其请求。我现在唯一的问题是,这会让它变慢一点。我可以在不到7秒的时间内完成100个请求,但是当我尝试500或1000时,它会逐渐变慢。要找出导致这种情况的原因。如果您有任何提示,请告诉我。我记录了内存使用情况,内存似乎不是问题,除非我在循环中遗漏了一些东西。