我的应用有很少的动态网址，所以在robots.txt中是否有允许而不是Disallow？像
User-agent: *
allow: /
allow: /blog
或者我必须做这样的事情？
User-agent: *
Disallow: /users/*
答案 0 :(得分：0)
有，它被称为“允许”。 你甚至可以通过这种方式禁止一个完整的文件夹，但是文件：
User-agent: *
Disallow: /folder/
Allow: /folder/file.php