如果标题x-robots设置为noindex，是否需要有robots.txt，没有关注？

Question

我试图阻止我的网站被编入索引/列出：

我已经设置了.htaccess：

Header set X-Robots-Tag "noindex, nofollow"

是否还需要设置robots.txt？

User-agent: *
Disallow: /

添加robots.txt有什么危害吗？

Answer 1

找到答案，如果设置了X-Robots-Tag，我必须删除robots.txt中的任何抓取禁令：

  

机器人元标记和X-Robots-Tag HTTP标头在a时被发现   网址已被抓取。如果不允许页面爬行   robots.txt文件，然后是有关索引或服务的任何信息   指令将无法找到，因此将被忽略。如果   必须遵循索引或服务指令，URL包含   这些指令不能被禁止爬行。

     

via：https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag#combining-crawling-with-indexing--serving-directives