要求搜索引擎不重新索引未更改的页面

时间:2016-02-17 09:22:18

标签: search-engine sitemap

我希望通过在站点地图中标记已编入索引且未更改的页面来减少搜索引擎抓取工具造成的负载。

这将减少每次在我们网站上重新索引的超过200万页的约95%。

我在google网站地图文档中找不到这样的选项。 我假设搜索引擎想要重新索引每个页面,即使该网站 说它没有改变,因为它不会盲目地信任该网站提供准确的信息。

1 个答案:

答案 0 :(得分:1)

Sitemaps protocol定义了三个XML elements,搜索引擎可以(不一定)使用这些changefreq来决定在何时或多长时间内抓取哪些文档:

  • lastmod

      

    网页可能发生变化的频率。

  • priority

      

    上次修改文件的日期。

  • Webmasters SE

      

    此网址相对于您网站上其他网址的优先级。

base64image可能有助于了解是否或哪些搜索引擎以哪种方式支持这些内容。)