不允许robots.txt中的某些文件夹禁止其相关的子文件夹？ 例如：
Disallow:/folder/
将匹配：
/folder/page
/folder/subfolder/page
或者只是匹配：
/folder/page
因此，如果第二种情况属实，我是否需要单独禁止第二个及后续子文件夹？
Disallow: /folder/
Disallow /folder/subfolder/
Disallow /folder/subfolder/onemorefolder
答案 0 :(得分：0)
Robots.txt没有＆＃34;文件夹＆＃34;的概念，它只是字符串。您在Disallow中指定的是网址路径的开头。
Disallow: /会屏蔽路径以/开头的所有网址（=所有网页）。
Disallow: /foo会屏蔽路径以/foo开头的所有网址：
/foo /foobar /foo.html /foo/bar /foo/bar/doe Disallow: /foo/会屏蔽路径以/foo/开头的所有网址：
/foo/ /foo/bar.html /foo/bar /foo/bar/doe