Question

我想阻止用户访问我的robots.txt文件，但我仍然希望搜索引擎能够阅读它。可能吗？如果是，那我该怎么办？我相信如果我在.htaccess中写下它会起作用，但我担心它也会阻止搜索引擎访问它。

命令拒绝，允许拒绝所有

由于

Answer 1

由于标准robots.txt是从您的域的根提供的，除非您能够以某种方式可靠地区分搜索引擎和用户，我不认为您提出的问题是可能的。

您可以尝试按用户代理或IP范围进行过滤。

您是否有理由不希望用户看不到robots.txt文件中的内容？毕竟该文件中的所有内容都是公开的。

Answer 2

您可以使用x-robots-tag或robots元标记代替robots.txt来减少对文件的依赖。例如，将以下指令添加到.htaccess文件中。

＆＃13;

<Files ~ "\pdf$">
     #don't index pdf files
     Header set X-Robots-Tag "noindex, nofollow"
</Files>

＆＃13;