我在wordpress robots.txt文件中进行了以下设置。由于某种原因，允许部分不起作用？根据谷歌网站管理员工具，它不喜欢以下。
谁能告诉我为什么？
Disallow: /blog/author/*
Allow: /blog/author/admin
谢谢！ ：）
答案 0 :(得分：1)
不需要跟踪*。 robots.txt约定是Disallow表达式将阻止以表达式开头的任何URL。原始的robots.txt规范没有通配符。使用通配符时，/blog/author/和/blog/author/*的含义相同。
原始robots.txt规范说机器人要读取robots.txt文件并应用第一个匹配规则。虽然原始规范不包含Allow指令，但早期实现者继续使用“第一个匹配规则”规则。如果Googlebot正在使用它，那么它会看到disallow行并假设它无法抓取/ blog / author / admin，因为它匹配。
我建议将Allow移到Disallow上方，并从Disallow表达式中删除星号。
答案 1 :(得分：0)
我认为您在WordPress robots.txt中尝试的操作与本例中webbingbcn.es/robots.txt相同，但允许/ wp-admin /.