“User-agent：* Disallow：/”是什么意思？

Question

在/robots.txt页面上，这是什么意思？

User-agent: * 
Disallow: / 

这是否意味着您无法在搜索引擎上搜索并获取此网站的结果？例如它会阻止Google吗？

Answer 1

它阻止（好）机器人（例如Googlebot）索引任何页面。

来自this page：

  

“用户代理：*”表示此部分适用于所有机器人。该   “Disallow：/”告诉机器人它不应该访问任何页面   该网站。

     

使用/robots.txt时有两个重要注意事项：

     

  
• 机器人可以忽略您的/robots.txt。特别是恶意软件机器人   扫描网页上的安全漏洞和电子邮件地址   垃圾邮件发送者使用的收割机将不予理会。   
• /robots.txt文件是公开可用的文件。任何人都可以看到哪些部分   您不希望机器人使用的服务器。
  

Answer 2

请参阅robots.txt specification。

User-agent: *匹配支持robots.txt的每个机器人（并且在同一文件中没有更具体的记录，例如User-agent: BotWithAName）。

Disallow: /禁止这些机器人抓取您主机上的任何内容。

请注意，并非所有机器人都支持并尊重robots.txt文件。