这会阻止爬虫吗？

Question

今天将我的wordpress网站提交给了Google网站管理员，我的页面无法访问。

我在Yoast /仪表盘中没有任何切换，不允许爬网程序爬行。

在我的.htaccess中

下面的代码是否可以防止我的网站被抓取并编制索引？

#BEGIN Block-Bots-ThirstyAffiliates
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (googlebot|bingbot|Slurp|DuckDuckBot|Baiduspider|YandexBot|Sogou|Exabot|facebo|ia_archiver) [NC]
RewriteRule ^recommends/ - [L,F]
</IfModule>
#END Block-Bots-ThirstyAffiliates


# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
# END WordPress

Answer 1

htaccess中的注释表明一个名为thirsty affiliates的插件正在添加该代码以阻止bot。如果您已安装此插件，则其中可能有一个设置。