使用代理列表下载或请求页面?

时间:2011-07-20 21:01:47

标签: perl proxy

我想知道是否可以通过从代理列表中获取的代理从其服务器请求互联网页面。

我真的不知道所有的确切条款,所以我只是解释我想要的东西:说网站上有一个功能可以计算IP或类似东西(可能是cookie),比如访客计数器。我想通过使用许多代理“进入”页面来“欺骗”它。 我可以使用像Tor这样的东西,但这太多了 - 我只想访问一个页面,让页面中的计数器或其他任何东西知道我访问过的,就是这样。

我真的不知道要添加哪些标签,但我对Perl进行了一些小实验,所以我认为这可能是一个很好的方向,虽然我找不到解决问题的方法。

提前谢谢。

1 个答案:

答案 0 :(得分:1)

你想要这样的东西:

#/usr/bin/perl
use strict; use warnings;
use LWP::UserAgent;

my $url = shift || 'http://www.google.com';

my $a = LWP::UserAgent->new;
$a->agent('Mozilla/5.0');
$a->timeout(20);
while (<DATA>) {
  $a->proxy( ['http'], $_ );
  warn "Failed to get page with proxy $_\n"
    unless $a->get( $url )->is_success;
}

__DATA__
http://85.214.142.3:8080
http://109.230.245.167:80
http://211.222.204.1:80

代码不需要太多解释。 LWP::UserAgent允许指定代理服务器。

遍历代理列表,获取想要的页面,然后就完成了。