wget重定向http://example.comhttp/example.com/

时间:2019-04-19 12:34:45

标签: proxy wget

我用wget重定向到错误:

http://example.comhttp/example.com/

,他尝试下载http://example.comhttp/example.com/index.html 而不是http://example.com/index.html

我正在使用以下命令通过wget(对于许多域,而不仅仅是一个域)来制作网站地图:

wget --spider --recursive --level=2 --no-verbose --follow-tags=a --wait=0.5 "http://example.com" -e use_proxy=yes -e http_proxy=http://user:pass@1.2.3.4:3128

对于100个域,90%可以,但是至少10%会出现这样的错误,如开头所述。

重要提示:仅当我使用代理时才会出现此错误,这是wget错误吗?

编辑:我发现这是因为使用了用于设置代理的 3proxy 软件,现在的问题是为什么会这样?网址示例:

http://leylandslearningcentre.com.au
http://www.roundhillagri.co.nz/
http://barkersphotos.co.nz

0 个答案:

没有答案