标签: .htaccess express routes robots.txt
这可能与我的应用程序代码本身无关,但我遇到一个问题,当我尝试检查我的robots.txt文件是否收到404错误时我的目录的根目录。如果抓取工具看到robots.txt文件是检查您是否可以通过GET请求访问它,我觉得这是一个常见的测试。
robots.txt
404
错误:Cannot GET /robots.txt
Cannot GET /robots.txt
我是否需要针对我的robots.txt文件的GET请求设置路由以显示和抓取?这可能与我的.htaccess文件请求无效的原因类似吗?
GET
.htaccess