wget，下载具有特定结尾的链接文件

Question

想要从此网站下载所有单词列表https://wiki.skullsecurity.org/Passwords

我试过

wget https://wiki.skullsecurity.org/Passwords --no-check-certificate --accept "*.bz2" -r

但只下载目标页面..

什么都不起作用：

wget https://downloads.skullsecurity.org/passwords/ --no-check-certificate -m

（尝试了-m和-r的不同组合）

还尝试使用--user-agent来阻止wget阻止下载

尝试-l 3，但仍然没有成功..facepalm

Answer 1

这对我有用：

 wget -e robots=off -r -np -nH --accept "*.bz2"  http://downloads.skullsecurity.org/passwords/

了解Robot Exclusion

  

如果您知道自己在做什么并且真的希望关闭机器人排除，请将机器人变量设置为“关闭”

网站http://downloads.skullsecurity.org/包含robot.txt内容

User-agent: *
Disallow: /

解释

  

Disallow: /告诉机器人它不应该访问网站上的任何页面。