来自谷歌的支持网站 -
要将Googlebot验证为来电者：
从日志中访问IP地址运行反向DNS查找， 使用host命令。验证域名是否在其中 googlebot.com或google.com在域上运行正向DNS查找 使用检索到的主机命令在步骤1中检索的名称 域名。验证它是否与原始访问IP相同 来自日志的地址。
我的问题是为什么正向DNS查找是必要的？攻击者是否可以创建crawl-xx-xx-xx-xx.googlebot.com形式的DNS记录？
我实际上在我的日志中看到了这一点 - 来自其他抓取工具。 Ip如果我反向DNS查找来自正确的域，但正向查找不返回IP。想知道这怎么可能..
答案 0 :(得分：2)
任何人都可以提供反向区域。如果您拥有IP空间，并使您的isp转发反向查找，您可以提供指向您想要的任何内容的反向区域。
作为攻击者，我可以购买任何IP区块并投放我的区域4.3.2.1.in-addr.arpa，该区域显示所有记录都在crawl-xx-xx-xx-xx.googlebot.com
虽然我无法控制google的前进dns。因此即使我可以对1.2.3.4进行反向查找以返回crawl-12-34-56-78.googlebot.com，我也无法在crawl-12-34-56-78.googlebot.com上获得正向查询以返回1.2.3.4。
日志中不一致的条目几乎肯定是第三方机器人尝试（非常好）冒充谷歌。