我用wget
重定向到错误:
http://example.comhttp/example.com/
,他尝试下载http://example.comhttp/example.com/index.html 而不是http://example.com/index.html
我正在使用以下命令通过wget(对于许多域,而不仅仅是一个域)来制作网站地图:
wget --spider --recursive --level=2 --no-verbose --follow-tags=a --wait=0.5 "http://example.com" -e use_proxy=yes -e http_proxy=http://user:pass@1.2.3.4:3128
对于100个域,90%可以,但是至少10%会出现这样的错误,如开头所述。
重要提示:仅当我使用代理时才会出现此错误,这是wget错误吗?
编辑:我发现这是因为使用了用于设置代理的 3proxy 软件,现在的问题是为什么会这样?网址示例:
http://leylandslearningcentre.com.au
http://www.roundhillagri.co.nz/
http://barkersphotos.co.nz