如何使用代理下载文件

Question

我正在下载一个包含大量GPL许可免费内容的网站，但是我的计算机超出了20个文件的每日下载限制（大约10,000个！）

我是否可以使用代理服务（通过PHP）继续访问此类内容？

Answer 1

是的，这是可能的。请参阅PHP的cURL： - http://php.net/manual/en/book.curl.php

具体来说：http://www.php.net/manual/en/function.curl-setopt.php：CURLOPT_HTTPPROXYTUNNEL

您可能想要检查您所做的事情是否合法。另外，我想你会遇到与代理相同的下载限制。

Answer 2

你不应该试图绕过这个限制。通过尝试下载所有内容，阻止像你这样的人超载他们的连接。

如果你真的需要下载整个网站，并且内容真的是免费的，也许它会在另一个网站上镜像，你可以更容易地获得它。

编辑：或者您可以通过电子邮件向网站管理员发送消息并提出要求。也许他可以用方便的格式给你或者禁用你的限制。

Answer 3

从技术上讲，代理服务器不应该每天只为您提供额外的20个文件吗？我希望你有很多代理人排队。

另一种选择是使用Tor，这可能会在数百个端点之间传播您的请求。

就个人而言，我首先会接近网站所有者。如果这些文件真的是GPL并且主持人遵循GPL的精神而不仅仅是试图最大化广告收入，那么他们不应该有太多的问题给你这么多。