我使用Google网站管理员验证了我的网站。我在django制作了我的网站，我还添加了robots.txt。 现在谷歌正在显示绿色刻度标记我认为它在DNS和服务器连接方面很好，但在robots.txt fetch上有红色警告标记..
我的robots.txt看起来像
User-agent: *
Disallow:
谷歌是否需要时间来抓取网站？或者我的robots.txt或其设置中有错误。
当我从我的网站打开robots.txt时，如mysite.com/robots.txt我可以看到robots.txt文件..
此外，当我在网站管理员中运行robots.txt测试时，它会提供允许的结果。 我的网站甚至没有在谷歌搜索..
但为什么它不抓我的网站？
答案 0 :(得分：0)
Google通常会缓存robots.txt。它试图在24小时内重新爬行。如果您确定robots.txt没有任何内容，则可能需要等待。