在多语言网站

Question

必须管理多语言网站，用户被重定向到本地版本的网站，例如

myBurger.com/en // for users from US, UK, etc..
myBurger.com/fr // for users from France, Swiss, etc...

如何将robots.txt文件与sitemap配对？

myBurger.com/robots.txt // with - Sitemap: http://myBurger.com/??/sitemap
OR
myBurger.com/en/robots.txt  // with - Sitemap: http://myBurger.com/en/sitemap
myBurger.com/fr/robots.txt  // with - Sitemap: http://myBurger.com/fr/sitemap

认为en和fr网站实际上是不共享公共内容的独立实体，即使外观相似。

Answer 1

您需要在顶层放置一个robots.txt。

  

robots.txt文件必须位于主机的顶级目录中，   可通过适当的协议和端口号访问。

https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

Answer 2

将robots.txt放在root：myBurger.com/robots.txt，并使用robots.txt指令在sitemap:文件中注册您的站点地图（如果我是maintain，请参阅示例{必要）。