如何阻止假冒Googlebot？

Question

我猜是一个假的Googlebot访问了我的网站。这是条目日志：

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
66.249.73.72

我之所以这样想，是因为它抓取了一些不存在的地址！实际上，它们完全是我创造的

假机器人具有某种结构，它在我的第一个网址中添加了一个粗俗的词 例如 此页面存在

https://stackoverflow.com/user

但是机器人爬虫了：

https://stackoverflow.com/some-word-user
https://stackoverflow.com/some-word-jobs

和这里是我的robots.txt。

User-agent: *
Disallow: /search?q=*
Disallow: *?replytocom
Disallow: /*add-to-cart=*
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: -----

Answer 1

1. 首先，您应该知道，googlebot也会抓取不存在的地址， 即尝试发现新内容。
2. 第二，我个人最好使用假冒的Googlebot， 有可能根据其IP排除googlebot。 Google adds new IPs to googlebot。再次：不要冒险。