如何在robots.txt中为特定的抓取机器人分配特定的站点地图？

Question

由于某些抓取工具不喜欢为Google制作的网站地图版本，因此我制作了不同的网站地图。

可以选择

Sitemap: http://example.com/sitemap.xml

到robots.txt。但有可能这样说：

User-agent: *
Sitemap: http://example.com/sitemap.xml

User-agent: googlebot
Sitemap: http://example.com/sitemap-for-google.xml

我无法找到这个主题的任何资源，robots.txt也不是我想要开玩笑的东西。

Answer 1

在robots.txt中无法做到这一点。 所有支持的消费者将使用Sitemap:值。

Sitemaps.org protocol：

  

该指令独立于用户代理行，因此将其放在文件中的位置并不重要。

Mentioned alternatives：将站点地图提交给搜索引擎via their website或via HTTP requests。