http://whoisxmlapi.com为详细的WHOIS查询提供了高吞吐量API。根据我的理解,这些数据只能由域名注册商提供,这些域名注册商对每分钟的查询数量设置了非常低的限制。是否已经从多个IP中的http://whois.godaddy.com等地方仔细地删除了这些数据,或者是否有办法批量获取此类数据?
答案 0 :(得分:2)
ICANN法规要求注册商批量提供WHOIS数据,但需要付费。您可以完整阅读详细信息here:
3.3.6.2对于[WHOIS]数据的批量访问,注册服务商可能会收取年费(不超过10,000美元)。
我不确切知道whoisxmlapi和DomainTools这样的网站是如何运作的,但是他们有可能执行超过通常数量的WHOIS查询,因为他们已经为现金支付了特权。
ICANN法规仍然对访问施加了某些限制:
3.3.6.4注册服务商的访问协议应要求第三方同意不使用该数据来实现大批量,自动化的电子流程[...]
同样,猜测,但如果他们没有自动化/编写脚本,那么对注册服务商数据库的大量查询也不会受到质疑。像whoisxmlapi和DomainTools这样的网站提供WHOIS查询服务,用户可以在其中查询单个域名。他们在将记录显示给用户之前对它进行缓存和索引非常简单。
当然,正如您所说,也许他们只需要拥有数百个IP地址,然后以狡猾的方式收集数据。