Question

txt测试仪在我的情况下不工作。我在robots.txt中有以下行。

但是在Tester中，如果我测试wp-admin显示允许的工具。我不知道为什么？请帮助我如何禁用wp-admin

 User-Agent: Googlebot
Allow: *.css*
Allow: *.js*
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /category
Disallow: /tag
Disallow: /page
Disallow: /author
Disallow: /trackback
Disallow: /*trackback
Disallow: /*trackback*
Disallow: /*/trackback
Disallow: /*?*
Disallow: /*.html/$
Disallow: /*feed*

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

Answer 1

如果您删除了斜杠，您将通过，或者如果您将wp-admin之后的页面放在测试程序中，您还会看到您的规则将通过（阻止机器人），例如/ wp-admin / admin.php的

User-agent:  *
Disallow: /cgi-bin/
Disallow: /wp-admin
Disallow: /recommended/
Disallow: /comments/feed/
Disallow: /trackback/
Disallow: /index.php
Disallow: /xmlrpc.php

Google Bot Robots.txt测试人员无法正常工作

1 个答案: