一个网站将信息存储在ID中，例如http://website.com/index.php?id=1。它有大约500,000条记录。
我需要检索它们并将它放在数据库（MySQL）中。现在我使用curl并获取该信息，但速度非常慢。我在一小时内只得到了大约4,000条记录。
我的问题是，有没有办法更快地完成这项工作？
答案 0 :(得分：1)
如果你不反对使用perl，CPAN模块Web :: Scraper是有效抓取页面的传统方法。请参阅http://metacpan.org/pod/Web::Scraper。
答案 1 :(得分：0)
答案 2 :(得分：0)
您总是可以将wget与php中的exec函数结合使用。当然，这假设您已将服务器配置为允许php执行shell命令。但是，wget明显快于curl。