我想为特定的糟糕搜索引擎设置noindex x-robots标记，该搜索引擎甚至是重定向页面，而不是最终目标。
在我的根.htaccess文件的顶部，我添加了以下规则。
<IfModule mod_headers.c>
Header add X-Robots-Tag "BadBot: noindex"
</IfModule>
它以这种方式工作。
Requesting http://example.com/page
SERVER RESPONSE: HTTP/1.1 301 Moved Permanently
Date: Mon, 17 Jul 2017 11:17:10 GMT
Content-Type: text/html; charset=iso-8859-1
Connection: keep-alive
Location: https://example.com/page
SERVER RESPONSE: HTTP/1.1 301 Moved Permanently
Date: Mon, 17 Jul 2017 11:17:11 GMT
Content-Type: text/html; charset=UTF-8
Connection: keep-alive
Location: https://www.example.com/page/
X-Robots-Tag: BadBot: noindex
SERVER RESPONSE: HTTP/1.1 200 OK
Date: Mon, 17 Jul 2017 11:17:13 GMT
Content-Type: text/html; charset=UTF-8
Connection: keep-alive
X-Robots-Tag: BadBot: noindex
要求：http://example.com/page
最后：https://www.example.com/page/
在请求的网址中，强制HTTPS时缺少 X-robots-tag 。有没有办法解决这个问题？
由于
答案 0 :(得分：0)
我认为你犯了一个小的语法错误。而不是Header add X-Robots-Tag它应该是Header set X-Robots-Tag
<IfModule mod_headers.c>
Header set X-Robots-Tag "BadBot: noindex"
</IfModule>