由于Bot的头部请求导致404错误

时间:2014-11-08 17:43:23

标签: node.js express http-status-code-404 web-crawler

我有一个运行Express.js的Node.js应用程序。从浏览器请求https://mysite.com/时,该网站正常工作。

我设置了一个捕获所有404并记录请求的URL(查看用户混淆的位置等)。但是,我不断收到包含网址https://mysite.com/

的404日志消息

以下是触发此操作的用户代理的更多详细信息:

req.headers [user-agent]:" Google-HTTP-Java-Client / 1.17.0-rc(gzip)" req.route.method:" head"

我认为这是一个Bot请求" head"只代替"得到"。为什么机器人会提出头部请求?我是否应该通过允许来自head和get的快递中的响应来解决这个问题?

0 个答案:

没有答案