Guzzle:使用Guzzle的Pool进行并行文件下载:batch()和`sink`选项

时间:2015-08-06 13:30:10

标签: php guzzle guzzle6

您可以使用Guzzle的Pool:batch()方法并行执行http请求。它允许您在第三个参数中使用options键为请求设置默认选项。

但是如果我需要池中不同请求的不同选项呢?我想使用池执行GET请求,并将每个响应流式传输到磁盘上的不同文件。有一个sink选项。但是如何将这个选项的不同值应用于请求?

3 个答案:

答案 0 :(得分:7)

Rastor's example 几乎正确,但是如果要提供"选项"则错误地实施Pool()构造函数。

他错过了here提到的Pool选项数组的关键实现。

Guzzle文档说:

  

当迭代器产生函数时,提供该函数   " request_options"应该在任何顶部合并的数组   现有的选项,然后函数必须返回一个等待的   的承诺。

此外,如果您查看我链接到的评论下面的Pool()代码,您可以看到Guzzle的游戏池调用了可调用对象,并为其提供了Pool"选项& #34;作为参数,正是因为你应该将它应用于你的请求。

正确的优先顺序是

  

每个请求选项>游泳池选项>客户端默认值。

如果您没有Pool()对象的选项数组应用于您的请求对象,您最终会遇到严重的错误,例如,如果您尝试制作new Pool($client, $requests(100), ['options'=>['timeout'=>30.0]]);。如果没有我更正的代码,您的泳池选项根本不会被应用,因为不支持正确合并泳池选项,因此最终会丢弃它们。

所以这里是支持Pool()选项的正确代码:

<?php

$client = new \GuzzleHttp\Client();

$requests = function ($total) use ($client) {
    for ($i = 0; $i < $total; $i++) {
        $url = "domain.com/picture/{$i}.jpg";
        $filepath = "/tmp/{$i}.jpg";

        yield function($poolOpts) use ($client, $url, $filepath) {
            /** Apply options as follows:
             * Client() defaults are given the lowest priority
             * (they're used for any values you don't specify on
             * the request or the pool). The Pool() "options"
             * override the Client defaults. And the per-request
             * options ($reqOpts) override everything (both the
             * Pool and the Client defaults).
             * In short: Per-Request > Pool Defaults > Client Defaults.
             */
            $reqOpts = [
                'sink' => $filepath
            ];
            if (is_array($poolOpts) && count($poolOpts) > 0) {
                $reqOpts = array_merge($poolOpts, $reqOpts); // req > pool
            }

            return $client->getAsync($url, $reqOpts);
        };
    }
};

$pool = new Pool($client, $requests(100));

但请注意,如果您知道永远不会向Pool()构造函数添加任何选项,则不必支持new Pool()选项。在这种情况下,您可以查看the official Guzzle docs作为示例。

官方示例如下:

// Using a closure that will return a promise once the pool calls the closure.
$client = new Client();

$requests = function ($total) use ($client) {
    $uri = '127.0.0.1:8126/guzzle-server/perf';
    for ($i = 0; $i < $total; $i++) {
        yield function() use ($client, $uri) {
            return $client->getAsync($uri);
        };
    }
};

$pool = new Pool($client, $requests(100));

答案 1 :(得分:0)

您可以单独指定所需的$options。如果您将其传递给客户端,它将仅适用于所有请求。以下是Guzzle 6 doc的摘录:

  

创建客户端时,可以添加标题作为默认选项。什么时候   标头用作默认选项,它们仅在应用时应用   正在创建的请求尚未包含特定标头。   这包括在send()和传递给客户端的请求   sendAsync()方法和客户端创建的请求(例如,   request()和requestAsync())。

请参阅http://guzzle.readthedocs.org/en/latest/request-options.html?highlight=default#headers

答案 2 :(得分:0)

对于guzzle 6

$client = new \GuzzleHttp\Client();

$requests = function ($total) use ($client) {
    for ($i = 0; $i < $total; $i++) {
        $url = "http://domain.com/picture/{$i}.jpg";
        $filepath = "/tmp/{$i}.jpg";

        yield function() use ($client, $url, $filepath) {
            return $client->getAsync($url, [
                'sink' => $filepath
            ]);
        };
    }
};

$pool = new Pool($client, $requests(100));