我看到的大多数问题都试图隐藏网站，使其不被搜索引擎编入索引。对我自己而言，我正在尝试相反的事情。
对于robots.txt文件，我提出以下内容：
# robots.txt
User-agent: *
Allow: /
# End robots.txt file
对我来说，这意味着允许搜索引擎搜索目录。但是，当我测试它时，它仍然将网站显示为“由于此网站的robots.txt，此结果的描述不可用”，但当我点击该链接时，它显示上述代码。
我猜这是因为Google和Bing需要一段时间才能赶上来？或者我做错了什么？
如果是因为他们尚未赶上所做的更改（这些更改是在昨天下午进行的），那么是否有人会粗略估计何时会反映这些更改？
答案 0 :(得分：0)
是的，搜索引擎抓取您的网页需要一些时间。你的robots.txt了。没有严肃的估计，因为它取决于太多的因素。有些搜索引擎会在其网站管理员工具中提供重新抓取特定网页的服务，但不能保证很快就会发生这种情况。
请注意，您的robots.txt相当于：
# robots.txt
User-agent: *
Disallow:
# End robots.txt file
（许多解析器知道/了解Allow，但它不属于original robots.txt specification。）
此robots.txt相当于没有robots.txt（或空robots.txt），因为Disallow:（=允许所有网址）是默认值。< / p>