禁止打开和抓取HTML文件

Question

我在根目录中有HTML文件，也在单独的目录中，通过SSI包含在其他页面中。

1. 如何禁止通过直接网址打开此HTML文件，但仍然可以在同一时间访问SSI？ .htaccess还是其他什么？一般来说可能吗？

2. 如何禁止为搜索引擎机器人抓取此HTML文件？如果我在其他网页上将它们包含在SSI中，但在网站上没有任何直接链接，搜索引擎机器人会看到它们吗？

Answer 1

创建robots.txt并添加以下内容：

User-agent: * 
Disallow: /foldername-you-want-to-disallow/ # hides all files in this directory from bots
Disallow: /hidden.html # hides a specific file in the root dir from bots
Disallow: /foldername/hidden.html # hides a specific file in a subdir from bots

OR

您可以创建.htaccess文件并将其上传到要隐藏的目录中。包括 以下内容：

Options -Indexes

Order deny,allow
Deny from all

您仍然可以通过SSI呼叫它们，但任何http直接请求都将被挫败。