禁止/lev1/*.html，但允许/lev1/lev2/*.html

Question

必须禁止：

/lev1/*.html

必须允许：

/lev1/lev2/*.html

robots.txt是否可以？

Answer 1

http://www.robotstxt.org/robotstxt.html

https://geoffkenyon.com/how-to-use-wildcards-robots-txt/

要从服务器的一部分中排除所有机械手

User-agent: *
Disallow: /lev1/lev2/*.html