我正在尝试运行命令并行下载3000个文件。我正在使用Cygwin + Windows。
通过终端WGET下载单个文件:
wget --no-check-certificate --content-disposition --load-cookies cookies.txt \ -p https://username:password@website.webpage.com/folder/document/download/1?type=file
允许我以正确的格式单独下载ID为1的文件(只要--content-disposition
在命令中)。
我遍历此REST API调用以下载整个文件夹(3000个文件)。这很好用,但速度很慢。
FOR /L %i in (0,1,3000) do wget --no-check-certificate --content-disposition --load-cookies cookies.txt \ -p https://username:password@website.webpage.com/folder/document/download/%i?type=file
现在我试图在Cygwin中并行运行该程序。
seq 3000 | parallel -j 200 wget --no-check-certificate --content-disposition --load-cookies cookies.txt -p https://username:password@website.webpage.com/folder/document/download/{}?type=file
它运行,但文件名和格式丢失(而不是"index.html"
,例如,我们可能会"4@type=file"
作为文件名。
我有办法解决这个问题吗?