wget与Perl的lwp有什么不同？

Question

我需要使用wget才能像爬虫一样为我的项目开发一个。但是在谷歌搜索中我看到人们建议使用LWP而不是Wget。你们能告诉我为什么会这样吗？

Answer 1

如果您正在编写Perl并且需要发出HTTP请求，则通常应该使用LWP。在Perl进程中做一些容易支持的事情是愚蠢的。

如果您想要执行更复杂的操作，例如递归网页抓取，您可能需要查看CPAN提供的WWW::Mechanize或Mojolicious模块。但是在这一点上，可以合理地利用已经具有递归网络爬行功能的外部工具。

如果您正在编写shell脚本而不是Perl程序，那么您别无选择，只能使用外部工具。 wget，curl和LWP脚本（lwp-request，GET等）之间的选择实际上归结为最简单的用例。它们都具有大致相同的功能，但有些东西在一个工具中比其他工具更容易。使用您的系统随时可用的内容;通常有多个选项，在这种情况下你应该试一试 - 阅读文档，尝试一些用例，看看你喜欢哪一个。