隐藏搜索引擎中的文件夹

Question

如何标记所有搜索引擎隐藏的文件夹？

有多少替代品？

哪一个最可靠？

Answer 1

为防止搜索引擎访问某些目录/网址，通常会使用robots.txt。这是搜索引擎在抓取您的网站之前查看的文件。

的robots.txt

User-agent: *
Disallow: /secret/

此文件应放在您的网站根目录中。例如http://www.example.com/robots.txt

使用/robots.txt时有两个重要注意事项：

• 机器人可以忽略您的/robots.txt。特别是在网络上扫描安全漏洞的恶意软件机器人，以及垃圾邮件发送者使用的电子邮件地址收集器都不会引起注意。
• /robots.txt文件是公开可用的文件。任何人都可以看到您不希望机器人使用的服务器部分。