GNU Parallel中的for循环

Question

我正在尝试从网页下载大量文件（其中只包含一个图像，因此我可以使用简单的wget），但希望使用GNU Parallel加速它。任何人都可以帮助我并行化这个for循环吗？感谢。

    for i in `seq 1 1000`
    do
    wget -O "$i.jpg" www.somewebsite.com/webpage
    done

Answer 1

你可以这样做：

 seq 1 1000 | parallel wget www.somewebsite.com/webpage/{}.jpg

您还可以使用-P选项指定要同时运行的作业数。

您也可以决定使用curl，如：

parallel -P 1000 curl -o {}.jpg www.somewebsite.com/webpage/{}.jpg ::: {1..1000}