Question

robots.txt文件通常只是站点根目录下的文本文件。例如，您可以查看www.amazon.com/robots.txt。但今天，我发现了一个包含奇怪robots.txt文件的网站。如果你只输入

http://xli.bugs3.com/robots.txt

它不显示文本文件，而是仍然显示该网站的主页。怎么可能发生？为什么网站管理员会这样做？

Answer 1

假设一个相当传统/基本的服务器设置，它只是你说的文件，它可能只是一个htaccess redirect rule。该规则可能类似于“如果文件在服务器上，则提供文件，否则只提供索引”。

或者它可能是像Rails这样的应用程序服务器，其中服务器目录结构和URL路径名之间没有直接关系。