Perl web爬行框架

Question

我多年来一直在使用Perl来抓取和刮擦各种不同的目的，有一件事总是让我感到困惑的是，虽然有大量用于小规模抓取和爬行的CPAN模块，例如LWP，WWW :: Mechanize，Web :: Scraper，AnyEvent :: HTTP以及现在的Mojo :: UserAgent，似乎没有任何爬行框架与其他语言相同。

例如Apache Nutch（/ Droids）＆amp; Scrapy（Python）。

任何人都知道Perl中的任何项目都是等价的吗？

Answer 1

您可能需要查看HTML::Robot::Scrapper或等模块 HTTP::UserAgentString::Robot并且我认为在他们的名字中还有一些robot。