是否可以限制或限制从网站下载wget
的数据量?是通过服务器设置还是wget
设置?
例如,一页是1GB大小,我希望wget停止以100MB下载。
答案 0 :(得分:11)
利用系统通过ulimit
命令限制进程资源消耗的能力应该可行。假设你使用bash:
(ulimit -f 102400; wget $url)
这里的大小是1024字节块。请注意,如果您使用不同的仍然符合标准的shell,或者在POSIX模式下使用bash
,则块大小为512字节,因此命令应为:
(ulimit -f 204800; wget $url)
答案 1 :(得分:5)
请参阅-Q
中的--quota
或man wget
选项。
指定自动检索的下载配额。该值可以以字节(默认),千字节(带有k后缀)或兆字节(带有m后缀)指定。
请注意,配额永远不会影响下载单个文件。因此,如果指定wget -Q10k ftp://wuarchive.wustl.edu/ls-lR.gz,则将下载所有ls-lR.gz。即使在命令行中指定了多个URL,情况也是如此。但是,在递归检索或从输入文件检索时,会遵守配额。因此,您可以安全地键入wget -Q2m -i sites ---超出配额时将下载。
不幸的是,正如文中所解释的那样,这可能对您没有用处:如果您尝试下载特定页面或文件,则此限制将不适用。配额仅在递归下载时才适用。
另一种选择是在后台运行下载,监控文件大小并在文件大于限制时终止wget
。
答案 2 :(得分:0)