Robots.txt - 禁止所有页面，但允许所有子目录

Question

有人可以对我说如何编写robots.txt文件。我需要禁止目录的所有页面，但我需要允许访问所有相关子目录。 您必须知道我不知道页面和子目录名称......它们是自动创建的。

例如：

禁止：/dir1/dir2/all-pages.html

允许：/ dir1 / dir2 / all-subdirectories /

（对不起我的英文）

Answer 1

这应该这样做：

Allow: /dir1/dir2/*/
Disallow: /dir1/dir2/

这适用于Google和Bing。它是否适用于其他抓取工具是一个悬而未决的问题，因为Allow和Disallow如何协同工作没有通用标准。但是首先放置Allow会给你最好的工作机会，因为许多抓取工具使用“第一个匹配的规则”。所以他们会看到Allow并继续。