ExpressJS - 在目录中找不到Robots.txt

时间:2015-03-26 14:26:20

标签: .htaccess express routes robots.txt

这可能与我的应用程序代码本身无关,但我遇到一个问题,当我尝试检查我的robots.txt文件是否收到404错误时我的目录的根目录。如果抓取工具看到robots.txt文件是检查您是否可以通过GET请求访问它,我觉得这是一个常见的测试。

错误:Cannot GET /robots.txt

我是否需要针对我的robots.txt文件的GET请求设置路由以显示和抓取?这可能与我的.htaccess文件请求无效的原因类似吗?

0 个答案:

没有答案