我最近设置了robots.txt文件。
没有什么特别的 - 我有一个asp.net站点，所以除了我的页面，根目录中的web.config等，还有/bin/和一些自定义文件夹的链接而不是网站结构。
目前我正在单独禁止每个目录，但我想知道是否可以一次性禁止root用户的所有子目录。
我已经看了一下文档，但还没有找到我想要的答案 - 通常它不存在，因为它不可能。
有人建议这是否可行吗？
答案 0 :(得分：0)
这可以通过通配符完成：
User-agent: *
Disallow: /*/
请注意，通配符是扩展名，不属于原始robots.txt标准的一部分。它们受到所有主要搜索引擎的支持，但许多专用爬虫都不支持它们。
如果您只关心主要搜索引擎，并且需要阻止数百或数千个目录，那么通配符是一个很好的解决方案。如果您只需要阻止一些目录，那么最好单独列出它们。