使用curl下载页面的更快捷方式？

Question

您好，

我下载了大量用于数据挖掘的文件。我曾经使用PHP来达到这个目的，但我发现它太慢了。另外，我只想要一小部分网页。我想实现两件事

1. Curl应该能够利用我的所有下载带宽
2. 有没有办法只下载我的数据所在的网页的一部分。

我不局限于PHP。如果curl在终端中效果更好，我会使用它。

Answer 1

是的，您可以使用CURLOPT_RANGE选项仅下载页面的一部分，并且还可以提供一个写回调函数，当您收到“足够的”数据并且想要停止并移动时，该函数只会返回错误上。

Answer 2

你在下载HTML吗？你的评论让我相信你是。如果是这种情况，只需使用Simple PHP DOM加载html并只获取所需的部分。虽然，我发现很难相信只抓取HTML会让你失望。您是否也下载了任何文件或媒体？

链接：http://simplehtmldom.sourceforge.net/

Answer 3

无法仅下载部分页面。当您请求URL时，服务器响应就是它。

使用cURL制作multiple connections at once的能力，充分利用您的带宽。