如何用linux命令行下载批量数据？

Question

例如，我想从以下位置下载数据： http://nimbus.cos.uidaho.edu/DATA/OBS/

链接：

http://nimbus.cos.uidaho.edu/DATA/OBS/pr_1979.nc

到

http://nimbus.cos.uidaho.edu/DATA/OBS/pr_2015.nc

如何编写脚本来下载所有这些脚本？与wget？以及如何循环从1979年到2015年的链接？

Answer 1

wget可以将文件作为包含每行URL的输入。

wget -ci url_file

-i：输入文件
-c：恢复功能

所以您需要做的就是将URL放在一个文件中，并将该文件与wget一起使用。

像Jeff Puckett II's answer这样的简单循环对于你的特定情况就足够了，但是如果你碰巧处理更复杂的情况（随机网址），这种方法可能会派上用场。

Answer 2

可能类似于for循环迭代预定义系列。

未经测试的代码：

for i in {1979..2015}; do
  wget http://nimbus.cos.uidaho.edu/DATA/OBS/pr_$i.nc
done