将robots.txt重定向到php页面

Question

我有一个系统可以在一个文件结构下处理多个域，每个域都需要不同的站点地图和robots.txt。

对于站点地图，我设置了一个重定向，我知道它运行良好。我想确认robots.txt可以实现相同的效果吗？

我在.htaccess中添加了重写规则，将人重定向到php页面。在这个php页面上，我找到了域用户，并使用文本标题打印出正确的信息。

这是允许的吗？

额外信息：

我有一个由domainA和domainB使用的codeigniter应用程序。虽然domainA应该看到domainA的机器人，但domainB应该看到domainB的机器人。如果我要在站点的根目录中创建robots.txt，则domainA和domainB都可以访问它，因为我创建了一个单独的php页面，为domainA和B提供正确的机器人。

在.htaccess中，我有一个类似于：

的重写规则

RewriteRule   ^robots.txt$ func/getRobots/$1 [L]

环顾四周后，我能够确定其他人这样做： http://www.aberdeencloud.com/docs/guides/how-use-different-robotstxt-development-and-live-environments

.htaccess and robots.txt rewrite url how to

https://webmasters.stackexchange.com/questions/61654/redirect-google-crawler-to-different-robots-txt-via-htaccess

我只是想确保它不会损坏系统的SEO方面。

Answer 1

如果搜索引擎根本无法访问您的robots.txt，则会损害您的搜索引擎优化。

不使用有关robots.txt位置的标准做法等同于承担风险。一些搜索引擎可以很好地处理你的情况，其他人可能会皱眉并发现它是可疑的。

在您提及的其中一个链接中，建议使用solution以避免重写URL。我会坚持下去。