robots.txt：网站仍未显示在Google中

Question

我有以下robots.txt

User-Agent: *
Disallow: 

User-Agent: Googlebot
Allow: /

禁止除谷歌以外的所有机器人。我上周做了这个更改，当我在Google上搜索我的域名时，我仍然得到A description for this result is not available because of this site's robots.txt。难道我做错了什么？ Google多久拨打一个域名

Answer 1

您的robots.txt没有按照您的意愿行事（但这与您提到的问题无关）。

如果你想禁止除“googlebot”之外的每个机器人的抓取，你想使用这个robots.txt：

User-agent: googlebot
Disallow: 

User-agent: *
Disallow: /

Disallow: /表示：禁止每个网址
Disallow:表示：不允许任何事情（即允许一切）

解决您的问题：Google抓取的频率没有明确的答案。对于我们不可计算的因素，它取决于不同的因素。等一两个星期并不罕见。