使LWP Useragent更快

时间:2009-11-05 19:13:02

标签: perl lwp lwp-useragent

我需要执行大量HTTP post请求,并忽略响应。我目前正在使用LWP :: UserAgent执行此操作。虽然我不确定它是在等待响应还是什么,但它似乎有点慢,但是无论如何加速它并且可能只是忽略响应?

2 个答案:

答案 0 :(得分:4)

bigian的回答可能是最好的,但另一种加快速度的方法是使用LWP :: ConnCache允许LWP重用现有连接,而不是为每个请求构建新连接。

如果你只是在一个网站上捣乱,那么启用它就很简单 -

my $conn_cache = LWP::ConnCache->new;
$conn_cache->total_capacity([1]) ;
$ua->conn_cache($conn_cache) ;

我发现这可以使http网站上某些操作的速度加倍,而对于https网站来说,这个速度提高了一倍。

答案 1 :(得分:2)

LWP ::并行

http://metacpan.org/pod/LWP::Parallel

“简介

ParallelUserAgent是现有libwww模块的扩展。它允许您获取URL列表(它目前支持HTTP,FTP和FILE URL.HTTPS也可以工作)并连接到所有这些并行,然后等待结果来在“

这很棒,它对我来说是奇迹 ......