htaccess选项 - 索引会阻止蜘蛛和搜索引擎抓取目录中的文件吗？

Question

使用Options -Indexes设置htaccess文件是否会阻止蜘蛛和搜索引擎抓取这些目录中的文件？

在目录中简单地使用index.html或index.php会阻止对目录进行爬网吗？

Answer 1

<强>数目：

  

使用Options -Indexes设置htaccess文件会阻止蜘蛛和搜索引擎抓取这些目录中的文件吗？

不，它不会阻止所有的蜘蛛和爬虫等因为Options -Indexes仅在目录中不存在默认index文件时阻止目录列表。

  

在目录中简单地使用index.html或index.php会阻止对目录进行爬网吗？

是的，您需要index.php或index.html使用适当的DirectoryIndex指令，以便在Web请求中请求目录时将该索引文件作为默认文件：

DirectoryIndex index.php index.html

这会使index.php默认索引文件，如果不存在，那么index.html将被默认使用。