根据robotstxt.org取消列出子域或目录

Question

根据robotstxt.org

  

第一个答案是解决方法：您可以放置​​所有文件   不希望机器人在一个单独的子目录中访问，制作它   目录无法在网上列出（通过配置服务器）

如何将我的服务器配置为具有不公开的目录或子域？

Answer 1

这取决于服务器及其配置。

由于列出文件夹内容可能是隐私/安全问题，因此大多数服务器默认情况下可能不会这样做。仅当没有index.html文件时，某些服务器才会显示文件夹内容。

对于Apache，请参阅mod_autoindex。

如果服务器列出了内容，您可以轻松测试它：

1. 创建文件夹test
2. 添加dummy.txt文件
3. 访问此文件夹的网址，例如http://example.com/test/

如果收到错误消息，则说明您的服务器不会列出内容。如果您看到包含dummy.txt的链接列表，则您的服务器会列出内容。