如何从列表&多线程?

时间:2015-10-24 16:17:01

标签: shell command-line wget

我一直在使用它来从我存储在文本文件中的列表中获取大量的URL:

wget -i websites.txt

然而,在我看来,一次下载一个文件然后继续下一个文件。我可能错了,如果是的话,请随时告诉我。

但如果我想同时下载10或20个文件怎么办?这可能与简单的wget命令有关,还是需要更复杂的东西?

顺便说一句,这些都是非常小的文件(~80kb)正在下载。下载数百万时,它似乎永远需要......

1 个答案:

答案 0 :(得分:3)

您可以使用并行命令:

parallel -a websites.txt --jobs 10 wget

使用-a读取文件中的每一行,--jobs说明有多少行 并行运行,wget将以文件的下一行为后缀。