从FTP网站下载数据

时间:2013-07-26 15:12:47

标签: ftp wget

我缺少某些东西,或者可能是整个案例。所以我试图从NCDC Datasets下载NCDC数据,而无法在unix框中执行此操作。

我到目前为止使用的命令是

wget ftp://ftp.ncdc.noaa.gov:21/pub/data/noaa/1901/029070-99999-1901.gz">029070-99999-1901.gz

这是一个文件,但如果我可以下载整个父目录,我将非常高兴。

2 个答案:

答案 0 :(得分:2)

你似乎有一个孤独的“就在>

之前

下载所有可以尝试此命令的内容以获取整个目录内容

wget -r ftp://ftp.ncdc.noaa.gov:21/pub/data/noaa/1901/*

答案 1 :(得分:0)

for i in {1990..1993} 
do
    echo "$i"
    cd /home/chile/data
    # -nH Disable generation of host-prefixed directories
    # -nd all files will get saved to the current directory
    # -np Do not ever ascend to the parent directory when retrieving recursively. 
    # -R index.html*,227070*.gz* don't download files with this regex

wget -r -nH -nd -np -R *.html,999999-99999-$i.gz* http://www1.ncdc.noaa.gov/pub/data/noaa/$i/
    /data/noaa/$i/

done