我一直在使用它来从我存储在文本文件中的列表中获取大量的URL:
wget -i websites.txt
然而,在我看来,一次下载一个文件然后继续下一个文件。我可能错了,如果是的话,请随时告诉我。
但如果我想同时下载10或20个文件怎么办?这可能与简单的wget命令有关,还是需要更复杂的东西?
顺便说一句,这些都是非常小的文件(~80kb)正在下载。下载数百万时,它似乎永远需要......
答案 0 :(得分:3)
您可以使用并行命令:
parallel -a websites.txt --jobs 10 wget
使用-a
读取文件中的每一行,--jobs
说明有多少行
并行运行,wget
将以文件的下一行为后缀。