robots.txt格式禁止所有子URL但不允许根URL本身

Question

我的申请网址如下：

http://example.com/app/1

http://example.com/app/2

http://example.com/app/3

...

http://example.com/app/n

现在我想阻止所有这些网址抓取而不是http://example.com/app 我怎么能用robots.txt

来做到这一点

Answer 1

将以下内容添加到robots.txt

Disallow: /app/

这将允许http://example.com/app但不允许http://example.com/app/ * 您可以在https://www.google.com/webmasters/tools/robots-testing-tool

测试您的robots.txt