我需要禁止访问而不通知robots.txt哪个文件夹就是这样。
在我的情况下，我有三个文件夹/_private1，/_private2和/_private3。
我需要知道我是否使用上述内容，我将保护我的文件夹免受谷歌和其他人的攻击。我该怎么做？
Disallow: /_*
Disallow: /_
答案 0 :(得分：1)
禁止任何名称以下划线开头的目录或文件：
User-agent: *
Disallow: /_
您应该知道，这并不能完全保证这些目录永远不会出现在任何搜索引擎上。它可以防止robots.txt兼容的机器人（包括所有主要的搜索引擎）抓取它们，但如果有人决定链接到它们，它们理论上仍然会出现在搜索中。如果你真的需要保密这个信息，最好的做法就是把它放在密码后面。