我试图阻止我的网站被编入索引/列出：
我已经设置了.htaccess：
Header set X-Robots-Tag "noindex, nofollow"
是否还需要设置robots.txt？
User-agent: *
Disallow: /
添加robots.txt有什么危害吗？
答案 0 :(得分：0)
找到答案，如果设置了X-Robots-Tag，我必须删除robots.txt中的任何抓取禁令：
机器人元标记和X-Robots-Tag HTTP标头在a时被发现 网址已被抓取。如果不允许页面爬行 robots.txt文件，然后是有关索引或服务的任何信息 指令将无法找到，因此将被忽略。如果 必须遵循索引或服务指令，URL包含 这些指令不能被禁止爬行。