是否为使用.htaccess文件的某些网址添加了“noindex”属性？

Question

例如，我想阻止此网址：

example.com/?this-url

通常我使用robots.txt文件：

User: *
Disallow: /?$

Answer 1

要求机器人不要为您的文档编制索引，you have two options：提供HTML元素或发送HTTP标头。后一个选项可以在.htaccess中使用：

Header set X-Robots-Tag "noindex"

（来自Apache模块Header directive的mod_headers）