如何阻止过度访问我网站的机器人？

Question

此机器人不尊重robots.txt中的nofollow noindex。

我在robots.txt中有这个：

User-agent: Msnbot
Disallow: /

User-Agent: Msnbot/2.0b
Disallow: /

直到现在它很慢，但现在，它是一个不会离开我的网站的怪物。 全部抓取所有WordPress和MyBB 24/7。

阻止IP范围或我该怎么做才能阻止所有这些内容窃取程序？

Answer 1

基于Block by useragent or empty referer你可以在你的.htaccess中找到类似的内容

Options +FollowSymlinks  
RewriteEngine On  
RewriteBase /  
SetEnvIfNoCase User-Agent "^Msnbot" ban_agent
Deny from env=ban_agent

Answer 2

以下是您需要做的事情：

代码：

User-agent: *
Disallow:

User-agent: MSNbot
Disallow: /

以上代码允许除MSNbot之外的所有机器人。

您可以在此处详细了解机器人排除协议。

例如，bing。

User-agent: MSNBot
Disallow: /

for google

User-agent: googlebot

Disallow: /

如果你想阻止所有机器人。用这个。

User-agent: *

Disallow: /