想要的建议:带有Perl的网络蜘蛛

时间:2011-06-08 10:12:32

标签: perl web-crawler www-mechanize lwp

蜘蛛应该:

  1. 以登录方式登录
  2. 通过Cookie维护登录状态
  3. 按照主页中的随机链接
  4. 蜘蛛的目的是让新网站保持忙碌,模拟许多用户正在浏览它。

    我看过LWP和WWW :: Mechanize。不确定应该使用哪个模块,或者任何其他更好的建议。如果你有代码示例非常好。

    感谢。

1 个答案:

答案 0 :(得分:3)

WWW :: Mechanize,在这两个选择之间。它下面有LWP :: UserAgent。我没有CPAN模块WWW :: Spider的经验,并且知道它几乎没有WWW :: Mechanize那么出名,但你也可以看看它是否满足你的需求。不过,我会投票选出经过充分证明的选项。