正确的方法来添加robots.txt并隐藏它？

Question

我的托管上有一个秘密文件夹，访问者可能看不到。我已将robots.txt添加到htdocs：

User-agent: *
Disallow: /super-private/

但是，如果访问者转到http://example.com/robots.txt，他可以看到私人文件夹的名称。还有什么要做的吗？ Htaccess可能吗？

Answer 1

robots.txt不是解决方案。它所做的就是告诉搜索引擎蜘蛛这样的东西，不应该将特定的URL编入索引;它不会阻止访问。

将.htaccess文件放在super-private中，其中包含以下内容：

Deny From All

完成此操作后，就不需要robots.txt，因为它无论如何都无法访问。如果您想允许访问某些人，请查看authentication with .htaccess。

Answer 2

请勿在{{1​​}}中提及此私人文件夹。然后，只需禁止robots.txt：

访问它

.htaccess

此外，如果在其他页面中没有指向此deny from all 文件夹的链接，机器人永远不应该知道它是否存在但不允许访问是一件好事，如果永远不能直接从客户端访问此文件夹。< / p>