wget --spider没有获得某些链接的文件大小

时间:2013-06-22 22:44:52

标签: wget web-crawler

我想获得一些文件大小。有人推荐wget --spider。但是,当我在某些链接上运行它时,例如http://autos.cn.yahoo.com/,然后它说长度:未指定[text / html]。有没有办法解决这个问题,或者我可以使用另一种方式获取文件大小而无需实际下载?谢谢!

1 个答案:

答案 0 :(得分:0)

这是因为服务器没有发送Content-Length标头,或者发送的信息格式不正确。您可以使用--ignore-length选项忽略此项:

$ wget --ignore-length http://autos.cn.yahoo.com/