Question

在Perl中从另一个HTTP资源流式传输的最简单的方法是什么（没有打开shell来卷曲和读取stdin）？我在这里假设我正在读取的HTTP资源是一个潜在的无限流（或者只是真的，非常长）

Answer 1

好的旧LWP允许您将结果作为流处理。

例如，这是对yourFunc的回调，读取/传递byte_count字节到每次调用yourFunc（如果不关心每次调用的数据大小，你可以放弃该参数，并且只想将流处理为尽可能快）：

use LWP;
...
$browser = LWP::UserAgent->new();
$response = $browser->get($url, 
                          ':content_cb' => \&yourFunc, 
                          ':read_size_hint' => byte_count,);
...
sub yourFunc {
   my($data, $response) = @_;
   # do your magic with $data
   # $respose will be a response object created once/if get() returns
}

Answer 2

HTTP::Lite的request方法允许您指定回调。

$data_callback参数（如果使用）是一种在接收数据时过滤数据或处理大量传输的方法。它必须是函数引用，并且将被传递：对进行回调的http请求的实例的引用，对将要添加到正文的当前数据块的引用，以及$cbargs参数（这可能是任何事情）。它必须返回对要添加到文档正文的数据的引用，或者是undef。

~~但是，在查看源代码时，似乎是sub request中的一个错误，因为似乎忽略了传递的回调。< / s> 似乎使用set_callback更安全：~~

#!/usr/bin/perl use strict; use warnings; use HTTP::Lite; my $http = HTTP::Lite->new; $http->set_callback(\&process_http_stream); $http->http11_mode(1); $http->request('http://www.example.com/'); sub process_http_stream { my ($self, $phase, $dataref, $cbargs) = @_; warn $phase, "\n"; return; }

输出：

C:\Temp> ht connect content-length done-headers content content-done data done

看起来传递给request方法的回调被区别对待：

#!/usr/bin/perl use strict; use warnings; use HTTP::Lite; my $http = HTTP::Lite->new; $http->http11_mode(1); my $count = 0; $http->request('http://www.example.com/', \&process_http_stream, \$count, ); sub process_http_stream { my ($self, $data, $times) = @_; ++$$times; print "$$times====\n$$data\n===\n"; }

Answer 3

等等，我不明白。你为什么要排除一个单独的过程？这样：

open my $stream, "-|", "curl $url" or die;
while(<$stream>) { ... }

对我来说，确实看起来像“最简单的方法”。这肯定比这里的其他建议更容易......

Answer 4

Event::Lib将为您的平台提供一个简单的最快异步IO方法接口。

IO::Lambda对于创建快速响应的IO应用程序也非常有用。

Answer 5

这是我最终通过Net :: HTTP使用的版本

这基本上是Net :: HTTP手册页/ perl doc中的示例的副本

use Net::HTTP;

my $s = Net::HTTP->new(Host => "www.example.com") || die $@;
$s->write_request(GET => "/somestreamingdatasource.mp3");
my ($code, $mess, %h) = $s->read_response_headers;
while (1) {
  my $buf;
  my $n = $s->read_entity_body($buf, 4096);
  die "read failed: $!" unless defined $n;
  last unless $n;
  print STDERR "got $n bytes\n";
  print STDOUT $buf;
}

纯Perl从另一个HTTP资源流式传输的最简单方法是什么？

5 个答案: