如果我的网页上有noindex标记<meta name="robots" content="noindex" />，我知道该网页不会显示在搜索结果中。
但页面上的链接是否仍会被抓取？
如果我希望抓取它们，我可以设置<meta name="robots" content="noindex, follow" />之类的内容。它会起作用吗？
答案 0 :(得分：0)
noindex标记<meta name="robots" content="noindex" />用于阻止大多数搜索引擎网络抓取工具为您网站上的网页编制索引。
抓取工具不会使用content="noindex, follow"标记对网页编制索引，但会抓取其余网页。
您可以在此处找到更多详细信息：http://www.robotstxt.org/meta.html