Question

将robots.txt添加到节点应用程序的最佳方式，最先进和最新的方法是什么？

在Web服务器级别可以更好地处理吗？

P.S：我使用Mongo作为数据库，使用Nginx作为Web服务器。

Answer 1

使用中间件功能。这样，您可以为不同的环境（例如生产和开发）处理不同的robots.txt文件。

app.use('/robots.txt', function (req, res, next) {
    res.type('text/plain')
    res.send("User-agent: *\nDisallow: /");
});

您还可以在文件所属环境的文件夹中提供文件。

if (app.settings.env === 'production') {
  app.use(express['static'](__dirname + '/production')); // Uses the robots.txt from production folder
} else {
  app.use(express['static'](__dirname + '/development')); // Uses the robots.txt from development folder
}

相关帖子：What is the smartest way to handle robots.txt in Express?

如何将robots.txt添加到节点应用程序？

1 个答案: