Googlebot无法访问我的WordPress robots.txt

Question

我在WordPress网站上使用Google索引时遇到了一些麻烦。 当我将自己的网站添加到Google网站站长时，.htaccess就是以下

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

现在，我尝试将这些行添加到.htaccess文件中，但Google仍然没有为我的网站编制索引。

# BOT SETTINGS
SetEnvIfNoCase User-Agent .*google.* search_robot
SetEnvIfNoCase User-Agent .*yahoo.* search_robot
SetEnvIfNoCase User-Agent .*bot.* search_robot
SetEnvIfNoCase User-Agent .*ask.* search_robot

Order Deny,Allow
#Deny from All
Allow from env=search_robot

我在哪里做错了？

Answer 1

创建 robots.txt 文件，并使用以下代码上传您的wordpress根文件夹。

User-agent: google
Disallow:

User-agent: yahoo
Disallow:

User-agent: bot
Disallow:

User-agent: ask
Disallow:

User-agent: *
Disallow: /

并尝试删除#BOT SETTING中的.htaccess。