假设我在www.example.com上有一个网站,我决定要在网址www.example.com/fr
上找到同一网站的法语版本但首先,我只希望自己能够看到www.example.com/fr及其中的任何内容(我想阻止“常规”访客和任何机器人。
我可以阻止除我的IP以外的所有人/文件夹/部分吗?如果它是通过htaccess,robots.txt,两者的组合,其他方式完成的吗?
我知道访问者,我可以将其添加到我的htaccess:
order deny,allow
deny from all
allow from (my ip address)
但我可以调整一下,说每个人都可以去除“fr”文件夹之外的所有内容吗?
我知道机器人(即谷歌)这个robots.txt文件将在我的主站点的根目录使用,如果我想让机器人访问:
User-agent: *
Disallow: /
那么我在“fr”文件夹中创建另一个robots.txt吗?或者它是否必须通过主站点根目录中的原始robots.txt文件来完成?
答案 0 :(得分:1)
您可以在每个文件夹中包含不同的.htaccess
个文件,因此只需将.htaccess
放在/fr
文件夹中,其中包含以下内容:
order deny,allow
deny from all
allow from (your ip address)
关于robots.txt
,您只能拥有一个需要位于网络根目录/
中的Disallow: /fr
。但是,如果您想让机器人不读取特定文件夹,您只需要添加一个新行:
robots.txt
Disallow
可以包含许多.htaccess
- 行到不同的文件/文件夹
请记住,机器人不会拥有来尊重你的robots.txt文件。这不是隐藏文件夹的安全方法。
注意: 如果您在/fr
文件夹中有以上robots.txt
,则无需将其添加到{ {1}},因为机器人无论如何都无法读取该文件夹。
You can read more about .htaccess here (包括如果您有权访问主服务器配置,应该避免使用.htaccess的原因。)