此问题仅在一个月前Moz报告无法抓取我们的网站时突然出现，因为该广告系列是针对我们的根域配置的，但我们的所有流量都会转发到“www”子域。
因此'example.com/some-page.html'会正确转发到'www.example.com/some-page.html'（以及我们网站上的所有其他网页）。
'www.example.com/robots.txt'也可以正常使用。
'example.com/robots.txt'获得连接超时。
彻底测试了所有这些内容我们的DNS注册商是GoDaddy，我们的网站托管在Heroku上，我们的平台是Ruby on Rails。