在没有robots.txt的情况下，有什么规则可以治理？

Question

搜索引擎是否应该抓取未托管robots.txt的网站？

编辑1： 如果机器人元标记不存在怎么办？我试图确定这里涉及的合法性。多数民众赞成。

Answer 1

搜索引擎会在没有robots.txt文件的情况下抓取网站上所有可公开访问的网页。