Robots.txt：禁止重复的子目录但允许主目录

Question

我有这些目录，其中有很多：

/dir100/media
/dir200/media
/dir300/media

我想禁止所有* / media目录 我怎么能这样做？

Answer 1

你的问题几乎就在那里！

# User agent that should be disallowed, '*' is far 'all' 
User-agent: *
Disallow: /*/media

# A less restrictive rule that would also work:
# Disallow: /dir*/media

一般情况下，搜索引擎确实希望查看可能从您的网页引用的每个资源，如果不允许这些资源进行抓取，并且通过渲染了解网页至关重要，那么谷歌和其他搜索引擎就有机会将很难理解页面。设置disallow指令时请记住这一点。