Question

我们使用robots.txt来引用我们的站点地图索引文件。现在我们将发布新的不同国家。我们在TLD .de下的网站提供了robots.txt，其中包含对我们的索引文件的引用。索引文件是指包含.de XML节点中的loc链接的不同站点地图。其他语言环境（例如，.fr）列在xhtml:link下方。

示例：

<url>
    <loc>https://xy.de/hallo</loc>
    <xhtml:link>https://xy.fr/hello</xhtml:link>
</url>

现在的问题是，我们是否应该向我们的.fr索引添加一个robots.txt并引用我们的站点地图索引？或者仅将引用放在德语.de robots.txt中就足够了，因为这些位置是用其他语言环境的替代位置描述的？或者我们应该使用“当前”语言环境反转loc XML节点？例如。在https://xy.fr/robots.txt下，.fr XML节点中是否存在引用loc个链接的站点地图？

Answer 1

Sitemaps protocol未提及xhtml:link元素，因此遵循该协议的消费者可能会忽略它。

作为站点地图can only contain URLs from the same host，robots.txt文件也仅适用于其主机，典型的方法是为每个主机提供自己的robots.txt文件，该文件指向此主机的站点地图（{{3} }）。

# robots.txt from http://fr.example/robots.txt
Sitemap: http://fr.example/sitemap.xml

# robots.txt from http://de.example/robots.txt
Sitemap: http://de.example/sitemap.xml

站点地图可以托管在其他主机上，但您仍需要通过robots.txt文件证明所有权（请参阅with an absolute URL）。

robots.txt中针对每个TLD

1 个答案: