使用cURL刮取内容

Question

如何使用cURL从隐藏我真正感兴趣的数据的页面中抓取<frameset>的一个框架？

Answer 1

好的，当我需要抓一些更复杂的东西时，我是Perl和模块的忠实粉丝WWW :: Mechanize http://search.cpan.org/dist/WWW-Mechanize/lib/WWW/Mechanize.pm

模块页面上有一些示例，但是如果您使用Google搜索“使用perl进行屏幕抓取”，您会找到各种示例。它也可以为您管理cookie。

注意：我确信这可以通过多个curl请求和一些grep -ing来完成 - 但我的经验主要是Perl。