通过修改htaccess来阻止机器人

时间:2013-02-18 20:30:13

标签: wordpress .htaccess bots robots.txt

我试图通过我的htaccess文件阻止几个机器人。在搜索引擎上观看,建议使用以下内容。我确实在robots.txt文件中阻止了这些机器人,但他们忽略了它。

以下是搜索引擎观察代码:

RewriteEngine on 
Options +FollowSymlinks 
RewriteBase / 
RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC,OR” 
RewriteCond %{HTTP_USER_AGENT} ^Sogou
RewriteRule ^.*$ - [F”

我当前的htaccess文件如下。我将如何使用上面的代码修改当前的.htaccess?我要添加什么以及在何处添加以上内容?我假设上面的一些已经包含在我当前的htaccess文件中,不需要重复。

这是我目前的.htaccess:

    # BEGIN WordPress
    <IfModule mod_rewrite.c>
    RewriteEngine On
    RewriteBase /
    RewriteRule ^index\.php$ - [L]
    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteCond %{REQUEST_FILENAME} !-d
    RewriteRule . /index.php [L]
    </IfModule>

   # END WordPress

1 个答案:

答案 0 :(得分:4)

删除Options行,然后将其添加到wordpress规则之上,并将更改为]

RewriteEngine on 
RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Sogou [NC]
RewriteRule ^.*$ - [F]

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

如果您要阻止其他用户代理,只需在当前用户代理之上添加更多条件:

RewriteCond %{HTTP_USER_AGENT} ^dont-want-this-string [NC,OR]