WGET忽略 - 内容处置?

时间:2015-04-29 11:49:19

标签: bash cygwin wget seq gnu-parallel

我正在尝试运行命令并行下载3000个文件。我正在使用Cygwin + Windows。

通过终端WGET下载单个文件:

wget --no-check-certificate --content-disposition --load-cookies cookies.txt \ -p https://username:password@website.webpage.com/folder/document/download/1?type=file

允许我以正确的格式单独下载ID为1的文件(只要--content-disposition在命令中)。

我遍历此REST API调用以下载整个文件夹(3000个文件)。这很好用,但速度很慢。

FOR /L %i in (0,1,3000) do wget --no-check-certificate --content-disposition  --load-cookies cookies.txt \ -p https://username:password@website.webpage.com/folder/document/download/%i?type=file

现在我试图在Cygwin中并行运行该程序。

seq 3000 | parallel -j 200 wget --no-check-certificate --content-disposition  --load-cookies cookies.txt -p https://username:password@website.webpage.com/folder/document/download/{}?type=file

它运行,但文件名和格式丢失(而不是"index.html",例如,我们可能会"4@type=file"作为文件名。

我有办法解决这个问题吗?

0 个答案:

没有答案