我想允许抓取文件：
/directory/
但不抓取以下文件：
/directory/subdirectory/
是否正确的robots.txt说明：
User-agent: *
Disallow: /subdirectory/
我害怕如果我不允许/ directory /子目录/ 我将不允许抓取/ directory /中我不想做的所有文件，所以我在使用中是正确的：
User-agent: *
Disallow: /subdirectory/
答案 0 :(得分：7)
你已经过度思考了：
User-agent: *
Disallow: /directory/subdirectory/
是对的。
答案 1 :(得分：2)
User-agent: *
Disallow: /directory/subdirectory/
蜘蛛不是傻瓜，他们可以解析一条道路：）