所有子域的单个robots.txt文件

Question

我有一个网站（example.com），并在根目录中设置了我的robots.txt。我还有多个子域名（foo.example.com，bar.example.com，以及将来会有更多），其robots.txt将与example.com的相同。我知道我可以在每个子域的根目录下放置一个文件，但我想知道是否可以将搜索robots.txt的爬虫重定向到任何子域到example.com/robots.txt？

Answer 1

不建议为robots.txt文件发送重定向标头，也不提供正式支持。

Google's documentation具体说明：

  

处理robots.txt重定向到不允许的网址是未定义的，不鼓励使用。

但文档确实说重定向“将通常跟随”。如果您将子域名添加到Google网站站长工具中并转到“抓取＆gt;阻止的网址”，则可以测试301重定向的子域robots.txts。它应该回归正面工作。

然而，话虽如此，我强烈建议您只是将文件符号链接到位，并且每个robots.txt文件在相应的URL处以200 OK响应。这与原始robots.txt规范以及Google的文档更加一致，并且谁知道bing / yahoo将如何随着时间推移处理它。