perl网络教程

Question

到目前为止，我一直在使用wget和curl来进行屏幕抓取。现在我想切换到perl。什么是一个很好的教程，将涵盖perl中的基本Web编程（最好不重述基础知识）？我说的是基本的东西，比如获取和解析页面，提交表单，代理等等。

Answer 1

我过去曾使用WWW-Mechanize来实现基本的网页抓取功能，包括表单提交等。

有一些非常好的examples。

Answer 2

这些应该涵盖您正在寻找的所有内容：

http://www.perl.com/pub/2002/08/20/perlandlwp.html

http://lwp.interglacial.com/

http://www.perl.com/pub/2003/01/22/mechanize.html

http://gd.tuwien.ac.at/linux/ldp/LDP/LGNET/108/oregan2.html

Answer 3

除了Perl之外你需要的工具：

1. HTTP Live Headers （Firefox扩展程序）或eqv。将Javascript请求反向设计为原始GET / POST，以便您可以使用Mechanize或LWP等模仿它。
2. 正如其他海报所提到的，一个好的无头浏览器是WWW::Mechanize模块。
3. 我建议花点时间学习HTML::TreeBuilder＆amp;特别是HTML::TreeBuilder::XPath和HTML::Query。当你想要从HTML文档中获取实际数据时，最后两个将变得非常方便。
4. HTML::TableExtract也是一个很好的模块，可以在需要时从HTML表中提取数据。

基本上，使用上述所有内容将使您能够抓取大多数网站。

玩得开心（ - ：