使用lwp :: useragent尝试从网站获取时获取错误500

时间:2017-06-05 07:07:40

标签: perl mechanize libwww-perl

有人帮我使用lwp :: Useragent

my $mech = WWW::Mechanize->new(autocheck => 0);
$mech->get($url);
my $content=$mech->content;

但在尝试获取https://camelcamelcamel.com/

时获得错误500

1 个答案:

答案 0 :(得分:2)

该网站似乎阻止来自“不良”(不受欢迎的)用户代理的请求。您可以使用WWW::Mechanize的{​​{1}}参数或通过调用LWP::UserAgent方法,将agentnew)作为其他用户代理提交。完整的IE8识别字符串修复了问题。

我使用agent对其进行了测试 [由“User Agent Switcher" plugin for Firefox”列出

Short list of user agents (xml file)
Long list of user agents

警告
网站可以使用或选择使用其他方式来阻止不需要的请求。