可以在robots.txt中使用相对站点地图网址吗？

Question

在robots.txt中，我可以为站点地图文件编写以下相对URL吗？

sitemap: /sitemap.ashx

或者我必须使用站点地图文件的完整（绝对）URL，例如：

sitemap: http://subdomain.domain.com/sitemap.ashx

为什么我想知道：

• 我拥有一个新的博客服务www.domain.com，允许用户在accountname.domain.com上发布博客。
• 我使用通配符，因此所有子域（帐户）都指向：“blog.domain.com”。

在blog.domain.com中，我放了robots.txt让搜索引擎找到站点地图。 但是，由于通配符，所有用户帐户共享相同的robots.txt文件。这就是为什么我不能使用第二种方法。而目前我不能使用url重写txt文件。 （我想IIS的更高版本可以处理这个问题吗？）

Answer 1

根据官方documentation on sitemaps.org，它需要是一个完整的网址：

  

您可以使用robots.txt文件指定Sitemap的位置。为此，只需将以下行添加到站点地图中完整网址：

Sitemap: http://www.example.com/sitemap.xml

Answer 2

Google搜寻器不够智能，它们无法搜寻相对URL，这就是为什么始终建议使用绝对URL以获得更好的可爬行性和可索引性的原因。

因此，您不能使用此变体

> sitemap: /sitemap.xml

推荐的语法是

Sitemap: https://www.yourdomain.com/sitemap.xml

注意：

• 别忘了在“站点地图”中的首字母大写
• 不要忘记在“ Sitemap：”之后放置空格

Answer 3

亲爱的朋友，很好的技术和逻辑问题。 在robots.txt文件中不能使用站点地图的相对URL。您需要使用站点地图的完整URL。

最好使用“站点地图：https://www.example.com/sitemap_index.xml”

在上面的URL中，冒号后面有空格。 我也喜欢支持Deepak。