我的网站上有一些不必要的文件,并希望停止在Google搜索结果中显示该文件。所以我将该文件包含在robots.txt文件中,如
User-Agent: *
Disallow:
Disallow: /cache/
很久以前这些文件一直在网站上使用,现在没有必要。
因此,如果我在robots.txt文件中添加该文件,谷歌会从索引中删除该页面并停止在SERP上显示它们吗?如果是这样,需要多长时间?
答案 0 :(得分:1)
来自Google:
我的robots.txt文件中的更改需要多长时间才能影响我的搜索结果?
首先,必须刷新robots.txt文件的缓存(我们通常将内容缓存最多一天)。即使在找到更改后,抓取和索引也是一个复杂的过程,有时可能会花费相当长的时间来处理单个URL,因此无法给出确切的时间表。此外,请注意,即使您的robots.txt文件禁止访问网址,该网址仍可在搜索结果中显示,尽管我们无法抓取该网址。 如果您希望尽快删除已阻止Google访问的网页,请通过Google Search Console提交删除请求。