找不到Robots.txt

Question

我当前正在运行一个由heroku主机的node.js服务的网站（http://www.agents-world.com/）。问题是我无法找到robots.txt。我想知道heroku是在缓存某些东西还是更普遍地不部署该文件。

我已经对应用程序进行了更改，所以我知道Heroku部署了最新版本。

我希望在http://www.agents-world.com/robots.txt

上看到robots.txt文件的内容

有什么想法吗？

Answer 1

您似乎没有指向robots.txt的路线。

您必须使用例如Express路由来提供此特定文件：

app.get("/robots.txt", function(req, res){
    res.sendFile(path.resolve("PATH_TO_ROBOTS.TXT"));
});