我们在我们的网站上使用以下robots.txt：
User-agent: *
Disallow: /
我们希望保留功能（不允许抓取工具索引网站的任何部分），但我们希望搜索引擎保存元标题和说明，以便当有人进入域时这些文本显示得很漂亮在搜索引擎中输入名称。 据我所知，唯一的解决方法是创建一个仅包含元标记的单独可索引页面。这是实现目标的唯一途径吗？会有副作用吗？
答案 0 :(得分：1)
使用此robots.txt，您不允许机器人在主机上抓取文档。机器人仍然可以索引您的文档的网址（例如，如果他们在外部网站上找到链接），但不允许他们访问您的head元素中的元素，因此他们不能使用此内容在其SERP中提供标题或说明。
没有标准方法可以让机器人访问head而不是body。
某些搜索引擎可能会显示来自其他来源的元数据，例如来自Open Directory Project（您可以禁用此noodp - meta元素的robots值或Yahoo Directory（您可以使用noydir值禁止此操作。）
如果您创建的文档仅包含head中的元数据，并允许机器人在您的robots.txt中对其进行抓取，则机器人可能会抓取并对其进行索引，但元数据当然会显示为此页面，而不是主机上的其他页面。