如何检查URL是否存在（并检测它是否是模板错误页面）？

Question

我使用了How to check if an URL exists with the shell and probably curl?

中的curl命令

但如果网站上有一般的错误页面，例如“抱歉，我们无法找到该页面”，则无效。

如何自动检测此类页面？

测试网址

  

http://www.nytimes.com/2013/09/18/us/washington-navy-yard-shootings.html

^页面存在

  

http://www.nytimes.com/2013/09/18/us/washington-navy-yard.html

^页面不存在

Answer 1

要检查页面是否有效：

curl -s --head http://your_url/ | head -n 1 | grep 200

或者您可以grep 404检查“页面是否不存在”