perl中的Web Crawler问题

Question

我在Perl中构建了一个Web爬虫。

我正在使用

HTML::ContentExtractor

LWP::UserAgent 

HTML::LinkExtor

提取文本表单网页。

示例代码web cralwer perl

的参考链接

问题：

问题在于它不会从扩展名为.aspx的网页中获取文本。 它适用于其他网页。我无法弄清楚此抓取工具为aspx页失败的原因。

Answer 1

要使用JavaScript访问网站流程，请使用WWW::Mechanize::Firefox