Google网站管理员工具声称我的robots.txt几乎阻止了我的所有网站

Question

我提交了一个包含数千个网址的站点地图，但是当我查看网站管理员工具时，它声称我的robots.txt文件阻止了9800个我的网址。

我应该怎样做才能说服它没有被阻止？

Answer 1

有时这只意味着无法访问robots.txt文件（返回5xx服务器错误，或者Googlebot没有得到回复）。在这些情况下，Google会将他们尝试抓取的任何网址视为robots.txt禁止访问的网址。您可以在网站站长工具的“抓取错误”部分中看到（位于顶部的网站错误中）。