如何使用wget下载整个目录和子目录?

时间:2013-06-24 18:56:22

标签: regex linux bash wget

我正在尝试使用wget下载项目的文件,因为该项目的SVN服务器已不再运行,我只能通过浏览器访问这些文件。所有文件的基本URL与

相同
  

http://abc.tamu.edu/projects/tzivi/repository/revisions/2/raw/tzivi/ *

如何使用wget(或任何其他类似工具)下载此存储库中的所有文件,其中" tzivi"文件夹是根文件夹,下面有几个文件和子文件夹(最多2级或3级)?

8 个答案:

答案 0 :(得分:174)

您可以在shell中使用它:

wget -r --no-parent http://abc.tamu.edu/projects/tzivi/repository/revisions/2/raw/tzivi/

参数是:

-r     //recursive Download

--no-parent // Don´t download something from the parent directory

如果您不想下载整个内容,可以使用:

-l1 just download the directory (tzivi in your case)

-l2 download the directory and all level 1 subfolders ('tzivi/something' but not 'tivizi/somthing/foo')  

等等。如果您未插入-l选项,则wget会自动使用-l 5

如果您插入-l 0,则会下载整个互联网,因为wget会跟踪它找到的每个链接。

答案 1 :(得分:13)

您可以在shell中使用它:

wget -r -nH --cut-dirs=7 --reject="index.html*" \
      http://abc.tamu.edu/projects/tzivi/repository/revisions/2/raw/tzivi/

参数是:

-r recursively download

-nH (--no-host-directories) cuts out hostname 

--cut-dirs=X (cuts out X directories)

答案 2 :(得分:4)

使用命令

wget -m www.ilanni.com/nexus/content/

答案 3 :(得分:2)

wget -r --no-parent URL --user=username --password=password

如果您具有要下载的用户名和密码,则后两个选项是可选的,否则无需使用它们。

您还可以在链接https://www.howtogeek.com/281663/how-to-use-wget-the-ultimate-command-line-downloading-tool/

中看到更多选项

答案 4 :(得分:1)

您也可以使用此命令:

wget --mirror -pc --convert-links -P ./your-local-dir/ http://www.your-website.com

以便您获得要下载的网站的确切镜像

答案 5 :(得分:1)

This link刚刚给了我最佳答案:

$ wget --no-clobber --convert-links --random-wait -r -p --level 1 -E -e robots=off -U mozilla http://base.site/dir/

像魅力一样工作。

答案 6 :(得分:-1)

这有效:

wget -m -np -c --no-check-certificate -R "index.html*" "https://the-eye.eu/public/AudioBooks/Edgar%20Allan%20Poe%20-%2"

答案 7 :(得分:-1)

这会有所帮助

wget -m -np -c --level 0 --no-check-certificate -R“ index.html *” http://www.your-websitepage.com/dir