阻止来自Apache开发服务器上所有站点的搜索引擎httpd.conf标头添加/设置X-Robots-Tag或<directory>标头添加/设置X-Robots-Tag

时间:2016-04-06 16:48:36

标签: apache search-engine httpd.conf

我正在寻找最佳做法或至少是常见做法。我需要告诉搜索引擎不要索引我的(RHL)Apache开发服务器上的任何站点 我看到人们已经采取了多种方式来做到这一点,但具体来说我已经看到要添加到httpd.conf文件中:

#(method 1)
Header add X-Robots-Tag "noindex, nofollow" 

这会渲染我需要的标题,但我也看到了添加

#(method 2)
<Directory />
  # Globally disallow robots from the development sever
  Header Set X-Robots-Tag "noindex, nofollow"
</Directory

这也渲染了我需要的标题,(如果两者都存在,这似乎覆盖了前一个)

我的问题是,方法1和方法2之间是否存在显着差异,如果是,那么它是什么?

如果也可以抛出这个子问题, 是:

Header set "noindex, nofollow"  

足够或标题应为:

Header add "noindex, nofollow, noarchive, nosnippet"

最后

Header set ... 

Header add ...
以太一个有效,有什么不同吗?

原谅如果有太多问题我会在这里需要分开 - 但这些问题都与我心目中的最佳/常见做法有关。

1 个答案:

答案 0 :(得分:0)

https://developers.google.com/search/reference/robots_meta_tag#directives

将标头设置为“ noindex,nofollow”就可以了。