这是一个非常基本的问题，但我无法在网上找到直接答案。在google上搜索我的网站时，会返回sitemap.xml和robots.txt作为搜索结果（在更有用的结果中）。为了防止这种情况，我应该将以下行添加到robots.txt？：
Disallow: /sitemap.xml
Disallow: /robots.txt
这不会阻止搜索引擎访问站点地图或机器人文件吗？
另外/我应该使用google的网址删除工具吗？
答案 0 :(得分：1)
你不会阻止抓取工具索引robots.txt，因为它是鸡和蛋的情况，但是，如果你没有指定谷歌和其他搜索引擎直接查看站点地图，你可能会失去一些索引权重从拒绝您的sitemap.xml。 您是否有特殊原因要求用户无法查看站点地图？ 我实际上只针对Google抓取工具执行此操作：
Allow: /
# Sitemap
Sitemap: http://www.mysite.com/sitemap.xml