使用wget下载特定目录数据

Question

我正在使用来自Ubuntu系统命令行的'ftp'从'wget'服务器下载数据。我知道如何从特定的URL下载所有目录。是他们的任何命令来选择和下载一些特定的目录吗？

我正在使用 "wget -c -r --no-parent 'URL' --user=xx --password=xx"

现在，如果我提供一个URL xx后跟2009年的年份，那么该网址将为xx/2009。现在我想在2009年下载文件夹100到365，而不是总文件夹(001 to 365)。我怎么能这样做？

Answer 1

您可以使用shell扩展指定所需的目录：

wget -c -r --no-parent URL/2009/{100..365} --user=xx --password=xx

Answer 2

如果有人在搜索这些类型的问题我现在有另一个解决方案，那就更好了 wget -c -r --no-parent URL/2009/{100..365} --user=xx --password=xx 这没有任何问题，但如果URL的编程方式使得一次不允许任何人下载大量数据，那么下一个就可以完成 for i in $(seq -w 144 365);do wget -r --no-parent URL/year/$i --user=XX --password=xx ; sleep 30; done