我认为问题的标题说明了一切 - 在开发和部署测试版时，我应该放
X-Robots-Tag: noindex, nofollow
或
<meta name="robots" content="noindex, nofollow">
在每个页面的<head></head>部分？
答案 0 :(得分：1)
X-Robots-Tag标头和robots元标记与支持它们的任何机器人具有完全相同的含义。机器人元标记是一个更老的标准。 X-Robots-Tag标题后来被引入作为robots meta的替代方案，适用于控制服务器配置但不控制站点代码的网站管理员。
唯一的区别是X-Robots-Tag标头不像机器人元标记那样受到广泛支持。如果您只关心主要搜索引擎，那么任何一个都可以，但是如果您需要它来处理旧版网络漫游机，那么元标记是更好的选择。
请注意，这些都不会阻止机器人从您的网站读取页面，它们只是告诉机器人不要索引任何内容或跟随任何链接。如果您想要阻止网络漫游器请求任何网页，您可以考虑使用robots.txt。
答案 1 :(得分：0)
META标签应该能够很好地为您完成。所有大型搜索引擎都会读取具有机器人名称和NOINDEX，NOFOLLOW内容的元标记。