从url批量下载文件

Question

我需要将每个0-2.5 MB的文件从Url下载到我的服务器（Linux CentOS /也可以是其他任何其他文件）。

我想使用wget（如果您有其他解决方案，请发布）：

我的第一种方法是只用一个文件测试它：

wget -U --load-cookies=cookies.txt "url"

这是Shell响应：

问题是它不下载文件而只下载空的html。必要的cookie以正确的格式保存在文件中，下载可在浏览器中使用。

如果它可以下载1个文件，我想使用带有所有网址的文本（例如urls.txt），其中网址如上所述，但只有一个参数正在改变。然后我还希望它一次下载大概10-100个文件。 如果您有PHP或Python的解决方案，它也会帮助我。

感谢您的帮助！

Answer 1

我现在用aria2解决了它。它是这类事物的绝佳工具。

Answer 2

基本上：

for i in foo bar 42 baz; do
    wget -other -options -here "http://blah/blah?param=$i" -O $i.txt
done

请注意-O参数，该参数允许您设置输出文件名。 foo.txt" is a little easier to use than的数据输出？格式= blahblahblah`。