我的网站上有一个秘密文件夹，我不希望搜索引擎知道它。我没有将文件夹名称放在robots.txt的Disallow规则中，因为在robots.txt中写入此文件夹名称意味着告诉访问者该秘密文件夹。
我的问题是，即使我没有发布到此文件夹的任何链接，搜索引擎是否能够了解此文件夹/抓取它？
答案 0 :(得分：0)
从每个人隐藏目录的唯一真正可靠的方法是将其置于密码之后。如果你绝对不能把它放在密码后面，那么一个创可贴解决方案就是将文件夹命名为：
http://example.com/secret-aic7bsufbi2jbqnduq2g7yf/
然后只阻止名称的第一部分，如下所示：
Disallow: /secret-
这将有效地阻止目录而不显示其全名。它将阻止任何服从robots.txt的爬虫爬行目录，但它不会使恶意爬虫很容易找到该目录。只是不要误以为这是实际的安全性。这将使主要搜索引擎无法使用。除此之外没有任何保证。同样，将每个人都排除在秘密目录之外的唯一真正可靠的方法是将目录置于密码之后。
答案 1 :(得分：-1)
是的，他们可以抓取它。
您的文件夹不是＆＃34;秘密＆＃34;一点都不快速搜索curl命令行以下载整个站点，然后在您的站点上尝试说服您自己的安全方法无效。
以下是一个很好的例子：download allfolders subfolders and files using wget
你可以.htaccess阻止代理商申请目录列表，如果你没有给你的文件夹一个明显的名称，例如＆＃34; site＆＃34;，这可能会很好地保护你。但是我要测试一下。 见deny direct access to a folder and file by htaccess