wget从https url下载多个文件夹

时间:2018-11-12 06:50:31

标签: shell for-loop wget

我正在使用wget的以下行下载数据集。

wget -e robots=off -m -np -R .html,.tmp -nH --cut-dirs=3 \
                 https://ladsweb.modaps.eosdis.nasa.gov/archive/orders/50672578/ \
                 --header "Authorization: Bearer <your appKey>" -P <target dir>

现在,我想从同一URL(即https://ladsweb.modaps.eosdis.nasa.gov/archive/orders/50672578/https://ladsweb.modaps.eosdis.nasa.gov/archive/orders/50672579/https://ladsweb.modaps.eosdis.nasa.gov/archive/orders/50672580/等)下载多个文件夹

我正在shell脚本中使用for循环,如下所示:

for i in 50672578 50672579 50672580 
do
    wget -e robots=off -m -np -R .html,.tmp -nH --cut-dirs=3 \
                 https://ladsweb.modaps.eosdis.nasa.gov/archive/orders/$i/ \
                 --header "Authorization: Bearer <your appKey>" -P <target dir> 
done

但这给了我以下错误:

  

代理请求已发送,正在等待响应... 400错误的请求       2018-11-12 12:18:34错误400:错误的请求。

单独运行正常,但不能通过for循环运行。

恳请指出我的错误。

提前谢谢

2 个答案:

答案 0 :(得分:1)

不需要使用for循环,您可以按以下方式表示网址列表:

https://ladsweb.modaps.eosdis.nasa.gov/archive/orders/{50672578,50672579,50672580}/

答案 1 :(得分:0)

是否可以在数组中分配如下所示的URL,并在for循环中读取它们

ARRAY =(URL1 URL2 ... URLN)