是否应该从sitemap.xml中排除“ noindex，nofollow，noarchive”页面？

Question

我的网站上有一些法律网页，但以<meta name="robots" content="noindex, nofollow, noarchive">排除在外。主要目标是这些页面不会显示在搜索引擎中。我是否需要将其从sitemap.xml中排除，否则meta标签就足够了。如果没有，为什么我需要包含它？

Answer 1

搜索引擎使用站点地图发现您的内容，因此添加您不希望被索引的内容并不是真正有用。

This documentation page概述了何时使用站点地图：

  

站点地图是一个文件，您可以在其中列出站点的网页以   向Google和其他搜索引擎介绍您的组织   网站内容。搜索引擎网络抓取工具（例如Googlebot）阅读了此内容   文件以更智能地抓取您的网站。