阻止谷歌从网站索引一些页面

Question

我在一个网站上遇到大量404错误的问题。我发现这些错误正在发生，因为谷歌正试图找到不再存在的页面。 现在我需要告诉Google不要再次索引这些页面。

我在互联网上找到了一些关于使用robots.txt文件的解决方案。但这不是我建立的网站。我只需要解决这些错误。事情是，生成这些页面。它们并不以该形式存在。所以我无法在PHP代码中添加任何内容。 我不太确定如何将它们添加到robot.txt。

当我写的时候： *用户代理：* noindex：/ objekten / anzeigen / haus_antea / 5-0000001575 *

并点击网站管理员工具中的测试按钮

我是从Googlebot获得的： 的 允许 检测为目录;特定文件可能有不同的限制

我不知道这意味着什么。

我是这类新手，所以请尽可能简单地写下你的答案。

抱歉英文不好。

Answer 1

我认为Google会删除自动从索引中返回404错误的网页。 Google不会在结果中显示这些网页。所以你不需要关心它。

请确保这些页面未与其他页面链接。如果是这样，Google可能会不时尝试为其编制索引。在这种情况下，您应该返回301错误（永久移动）并重定向到正确的URL。 Google将遵循301错误并改为使用重定向的网址。

如果您要删除搜索结果中已有的网页，则只需要Robots.txt。但我认为错误代码404的页面无论如何都不会显示在那里。