怎么说服务器我可以解析Perl Mojo :: UserAgent中的Javascript？

Question

我尝试使用Perl Mojo::UserAgent来抓取网站，但服务器会检查浏览器的Javascript支持功能。有可能说/我的客户支持Javascript吗？

现在我只有这段代码：

use Mojo::DOM;
use Mojo::UserAgent;

my $ua = Mojo::UserAgent->new;
$ua = $ua->transactor(Mojo::UserAgent::Transactor->new);
$ua->transactor->name('Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:21.0) Gecko/20100101 Firefox/21.0');
my $tx = $ua->post("http://..." => form => {
                    "login_username" => "...",
                    "login_password" => "..."
            });

有可能吗？如果不可能，是否存在任何其他基于perl的用户代理可以做什么？

Answer 1

从网站上抓取依赖于JavaScript的数据有两种基本方法。

1. 反向工程网站。弄清楚JavaScript正在做什么，然后在您自己的代码中复制该功能。
2. 推动支持JavaScript的网络浏览器（例如通过Selenium或PhantomJS - 两者都有CPAN模块）并从浏览器中提取数据。