Question

这是我的robots.txt

User-agent: AhrefsBot
Disallow: /

User-agent: AhrefsBot/3.1
Disallow: /

User-agent: Yahoo-slurp
Disallow: /

User-agent: Msnbot
Disallow: /

User-Agent: msnbot/2.0b
Disallow: /

User-agent: Googlebot
Allow: /
Disallow: /feed/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-
Allow: /wp-content/uploads/

User-agent: *
Disallow: /

和我的htaccess文件

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

SetEnvIfNoCase User-Agent "^Bandit" bad_bot
SetEnvIfNoCase User-Agent "^Baiduspider" bad_bot
SetEnvIfNoCase User-Agent "^BatchFTP" bad_bot
SetEnvIfNoCase User-Agent "^Bigfoot" bad_bot
SetEnvIfNoCase User-Agent "^Black.Hole" bad_bot
SetEnvIfNoCase User-Agent "^bingbot/2.0" bad_bot
SetEnvIfNoCase User-Agent "^ezooms/1.0" bad_bot
SetEnvIfNoCase User-Agent "^Ezooms/1.0" bad_bot
SetEnvIfNoCase User-Agent "^Mail.RU_Bot/2.0" bad_bot
SetEnvIfNoCase User-Agent "^MJ12bot" bad_bot
SetEnvIfNoCase User-Agent "^MJ12bot/v1.4.3" bad_bot
SetEnvIfNoCase User-Agent "^Sosospider" bad_bot
SetEnvIfNoCase User-Agent "^Sosospider/2.0" bad_bot
SetEnvIfNoCase User-Agent "^YandexBot" bad_bot
SetEnvIfNoCase User-Agent "^Yandex/1\.01\.001" bad_bot
SetEnvIfNoCase User-Agent "^YandexBot/3\.0" bad_bot
SetEnvIfNoCase User-Agent "^YandexBot/3.0" bad_bot
SetEnvIfNoCase User-Agent "^MSNBot" bad_bot
SetEnvIfNoCase User-Agent "^bingbot" bad_bot
SetEnvIfNoCase User-Agent "^bingbot/2.0" bad_bot

Order Allow,Deny
Allow from All
Deny from env=bad_bot

谷歌在一切可能的情况下都失败了。我在标题中没有内容=“noindex”或其他任何内容。

可以吗

User-agent: *
Disallow: /

导致问题？

我听说它的最后还是没问题，但是如果它有问题，我会删除它。

Answer 1

User-agent: *
Disallow: /

删除它

我的robots.txt和.htaccess有什么问题，所以google fetch失败了

1 个答案: