Question

我一直在使用我的robots.txt文件排除某些网页被抓取并在我的网站上找到。

我发现有几个旧页面（现已从服务器中删除）仍然可以通过搜索引擎找到。

问）我是否需要在服务器上重新创建页面，以便我可以使用robots.txt进行此操作？

Answer 1

不，您不需要重新创建页面，以便在robots.txt中提及。也就是说，你可以：

User-Agent: *
Disallow: /foo/bar.html

如果/foo/bar.html确实存在并不重要。礼貌机器人不会尝试访问该页面。

请注意，如果他们从搜索引擎获得链接，则不会阻止浏览器尝试访问该网页。

从搜索引擎中移除旧网页＆＃39;索引是一个更难的问题。如果他们重新抓取您的网站，那么他们可能会使用您的新版面替换他们的快照，并且该页面将不再显示。但是，如果他们从其他某个站点找到指向旧页面的链接，他们仍可能会在已删除的索引中列出已删除的页面。这取决于搜索引擎。

对于较大的搜索引擎，您可以提交删除请求。如何完成取决于个人网站。