允许子目录索引但子目录中没有其他页面

Question

在robots.txt ...

我想允许目录的索引或主页。

/landing/

我不想允许目录中的任何其他页面。

/landing/page  
/landing/anypage

如何做到这一点？

Answer 1

User-agent: *
Allow: /landing/$
Disallow: /landing/

根据Google网站管理员的说法，您可能只需要Allow指令：

_{来源：https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt?hl=en#order-of-precedence-for-group-member-records}

Answer 2

禁止：/ landing / *应该有效。