Question

我会使用托管进行实时测试，但我想保护访问并阻止搜索引擎索引。例如（public_html中的服务器目录结构）：

_private
_bin
_cnf
_log
_ ...（更多默认目录托管）
的 testpublic
CSS
图片
的的index.html

我希望 index.html对每个人都是可见的，所有其他目录（“testpublic”除外）都是隐藏的，受保护的访问和搜索引擎不能索引。

目录“testpublic”我希望它是公开的，但可能不会在搜索引擎中编入索引，不确定这是否可行。

要明白我需要2个文件.htaccess “public_html”中的一般和“testpublic”中的其他一般。

.htaccess general（public_html）我认为应该是这样的：

AuthUserFile /home/folder../.htpasswd
AuthName“测试！”
AuthType Basic
要求用户admin123

＆LT; FilesMatch“index.html”＆gt;
满足任何要求＆LT; / FilesMatch＆gt;

任何人都可以帮我创建具有适当属性的文件吗？谢谢！

Answer 1

您可以在根文件夹中使用robots.txt文件。所有符合标准的机器人都会遵守此文件，而不会索引您的文件和文件夹。

Robots.txt示例，它告诉所有（*）抓取工具继续前进并且没有索引。

User-agent: *
Disallow: /

您可以使用.htaccess文件来微调您的服务器（假设Apache）服务的内容以及可见的目录索引。在这种情况下，您将添加

IndexIgnore *

到您的.htaccess文件中禁止索引。

更新（信用https://stackoverflow.com/users/1714715/samuel-cook）：

如果您想专门停止机器人/抓取工具并知道其用户代理字符串，您可以在.htaccess

中执行此操作

<IfModule mod_rewrite.c>
  RewriteEngine on
  RewriteCond %{HTTP_USER_AGENT} Googlebot
  RewriteRule ^.* - [F,L]
</IfModule>

希望这有帮助。

Htaccess使用托管进行实时测试

1 个答案: