如何停止在我的网站上重新抓取和重新索引网页？

Question

我的网站上有大约200万页（Wordpress）。谷歌总是在我的网站上抓取很多页面（重新抓取旧页面），最近为了在谷歌搜索结果中显示索引新页面需要大约3天。

如何停止重新抓取？

我的站点地图示例：http://www.serze.com/post_part1.xml

Answer 1

不鼓励搜索引擎从索引选择是您的整个网站将使谷歌无法访问。在此之后，您的网站不会对搜索结果进行排名。

您可以在sitemap.xml上设置特定页面的更新频率。

https://www.sitemaps.org/protocol.html（检查changefreq和优先级标记）

您还可以在搜索控制台上查看抓取统计信息。 https://support.google.com/webmasters/answer/48620?hl=en

但它可能是不同的问题。你有什么关于seo或软件更新的吗？

Answer 2

为此，只需转到 admin ＆gt; 设置＆gt; 阅读启用阻止搜索引擎索引此网站。

并为Google创建一个单独的robot.txt