具有WRITEFUNCTION回调的并行cURL请求

时间:2013-04-09 15:35:32

标签: php curl php-closures

我正在尝试按照以下帖子中的建议限制我的cURL回复:Retrieve partial web pagePHP CURLOPT_WRITEFUNCTION doesn't appear to be working。我们的想法是将响应限制为回调函数中指定的4000个字符。

我编写了以下函数,但我已经知道它没有意义,因为回调函数定义中的参数在循环内不会像在函数调用中那样变化。在实际调用函数时,$ key的值是固定的,因此我对该索引的引用不会发生变化。

似乎我需要为每个循环创建一个新的闭包函数,每个循环都需要引用它自己的$ full_length变量。但是,我不明白这是怎么可能的。为了做到这一点,似乎我必须以某种方式引用闭包对象以指定特定的$ full_length变量。

任何帮助将不胜感激。感谢。

function get_headers($urls){
    $curly = array();
    $result = array();
    $mh = curl_multi_init();
    $obj = $this;
    foreach ($urls as $key => $url) {
        $this->full_length[$key] = 0;
        $callback = function ($ch, $string) use ($obj, $key){
                    $length = strlen($string);
                    $obj->full_length[$key] += $length;
                    if($obj->full_length[$key] >= 4000){
                        return -1;
                    }
                    return $length;
                };
        $curly[$key] = curl_init
        curl_setopt($curly[$key], CURLOPT_URL,            $url);
        curl_setopt($curly[$key], CURLOPT_HEADER,         0);
        curl_setopt($curly[$key], CURLOPT_WRITEFUNCTION, $callback);
        curl_setopt($curly[$key], CURLOPT_RETURNTRANSFER, 1);
        curl_multi_add_handle($mh, $curly[$key]);
    }
    $running = null;
    do {
        curl_multi_exec($mh, $running);
    } while($running > 0);
    foreach($curly as $key => $cnt) {
        $content = curl_multi_getcontent($cnt);
        curl_multi_remove_handle($mh, $cnt);
        if (strlen($content) > 0){
            $result[$key] = $content;
        } else {
            curl_multi_close($mh);
            return FALSE;
        }
    }
    curl_multi_close($mh);
    return $result;
}

编辑:

我发现了一篇确实正在尝试做的帖子,但它是在javascript中: closure inside a for loop - callback with loop variable as parameter 。我编写了以下函数来尝试在PHP中执行相同的操作:

function get_write_function($key){
    $this->full_length[$key] = 0;
    $obj = $this;
    $funky = function ($ch, $str) use ($obj, $key){
        $length = strlen($str);
        $obj->full_length[$key] += $length;
        if($obj->full_length[$key] >= 4000){
            return -1;
        }
        return $length;
    };
    return $funky;
}

代码运行没有错误,但它仍然没有做我想要的。关闭我的cURL句柄后,我转储了$ full_length数组,它只显示:

array([0] => 0, [1] => 0)

这表明它们是由get_write_function初始化的(因为我没有初始化类声明中的任何内容),但之后的值从未更新过。

1 个答案:

答案 0 :(得分:1)

我终于明白了。最大的问题是cURL忽略了WRITEFUNCTION,直到我把它作为指定的最后一个选项放置,就像我在这里发布的那样:cURL WRITEFUNCTION not Being Called。我实际上不需要返回传输,因为我将输出写入类变量。这是必要的,因为当回调返回-1时,不会返回任何内容。以下代码非常有用:

var $full_length = array();
var $result = array();

function get_headers($urls){
    $curly = array();
    $mh = curl_multi_init();
    foreach ($urls as $key => $url) {
        $callback = $this->get_write_function($key);
        $curly[$key] = curl_init
        curl_setopt($curly[$key], CURLOPT_URL,            $url);
        curl_setopt($curly[$key], CURLOPT_HEADER,         0);
        curl_setopt($curly[$key], CURLOPT_WRITEFUNCTION, $callback);
        curl_multi_add_handle($mh, $curly[$key]);
    }
    $running = null;
    do {
        curl_multi_exec($mh, $running);
    } while($running > 0);
    foreach($curly as $key => $cnt) {
        curl_multi_remove_handle($mh, $cnt);
    }
    curl_multi_close($mh);
    return $this->result;
}

function get_write_function($key){
    $this->full_length[$key] = 0;
    $this->result[$key] = '';
    $obj = $this;
    $funky = function ($ch, $str) use ($obj, $key){
        $obj->result[$key] .= $str;
        $length = strlen($str);
        $obj->full_length[$key] += $length;
        if($obj->full_length[$key] >= 4000){
            return -1;
        }
        return $length;
    };
    return $funky;
}