Robots.txt用于两个共享相同根目录的独立网站

Question

我必须为两个不同的网站制作一个robots.txt文件，但它们都在同一个根目录下。

它们与google.com和yahoo.com不同，但它们都绑在同一个地方，因此一个更改同时影响两者。正在寻找为两个域创建单个机器人文件的解决方案，我们将非常感谢您的帮助。

找到此其他资源，但我不确定它是否适用：Robots.txt for multiple domains

Answer 1

您提到的链接中给出的解决方案肯定会有效。 我在nginx服务器上使用相同的设置。 作为替代方案，我可以尝试将域添加到robots.txt文件中。喜欢：

Disallow: domain1.com/path/to/disallow 
Disallow: domain2.com/path/to/disallow

但我不能100％确定这是否有用。