Question

使用Perl，我正在寻找一种简单的方法来并行执行少量HTTP请求，在这些请求中，我按照我们在完成后发送它们的顺序得到响应，例如：

my ($google, $perl) = foobar(GET => 'http://www.google.com/',
                             GET => 'http://www.perl.org/');

我应该看一个模块吗？

我知道我可以手工完成簿记，但是在使用jQuery's when method能够做到这一点之后我感到被宠坏了，我很乐意使用Perl来解决这个问题。

感谢您的帮助。

Answer 1

use threads;
use LWP::UserAgent qw( );

my $ua = LWP::UserAgent->new();
my @threads;
for my $url ('http://www.google.com/', 'http://www.perl.org/') {
   push @threads, async { $ua->get($url) };
}

for my $thread (@threads) {
   my $response = $thread->join;
   ...
}

最好的部分是父母不等待所有请求完成。一旦正确的请求完成，父母将解锁以处理它。

如果您使用Parallel::ForkManager或其他您无法等待特定孩子的内容，则可以使用以下代码对结果进行排序：

for my $id (0..$#urls) {
   create_task($id, $urls[$id]);
}

my %responses;
for my $id (0..$#urls) {
   if (!exists($responses{$id})) {
      my ($id, $response) = wait_for_a_child_to_complete();
      $responses{$id} = $response;
      redo;
   }

   my $response = delete($responses{$id});
   ...
}

Answer 2

我是Mojo的粉丝！来自Mojo::UserAgent文档：

use Mojo;
use Mojo::UserAgent;
# Parallel requests
my $ua = Mojo::UserAgent->new;
$ua->max_redirects(5);
my $delay = Mojo::IOLoop->delay;
for my $url ('http://www.google.com/', 'http://www.perl.org/') {
  $delay->begin;
  $ua->get($url => sub {
    my ($ua, $tx) = @_;
    $delay->end($tx->res->dom);
  });
}
my @responses = $delay->wait;
print join "\n", @responses

享受！

修改

顺便说一下。你不必在最后处理答案，你可以在两者之间进行：

# ... $ua->get($url => sub { my ($ua, $tx) = @_; $delay->end(1); # process $tx->res here }); # ... $delay->wait;

如何在Perl中生成并行HTTP请求，并按顺序接收它们？

2 个答案: