此代码阻止机器人抓取我的网页吗？

Question

我的网站曾经在google，yahoo和bing上拥有非常高的索引。但突然之间它完全消失了。

我已经重新提交谷歌，创建了一个站点地图等尝试重新索引我的网站没有成功。所以我读到了检查我的.htaccess文件，看看我是否被黑了。

我的.htaccess文件中有以下内容。

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*(bot|urp|msn).* [NC]
RewriteRule ^(.*) 501.html [NS,NC,L]

是否有人能够告诉我这是否阻止机器人抓取我的网页？

提前致谢！

Answer 1

是的，此规则会阻止他们访问您的网站。删除这三行，以便他们正确访问。如果您想阻止他们访问您网站的特殊部分，请改用 robots.txt 。