从谷歌等搜索引擎保护管理目录

Question

我有一个网站文件夹，例如mywebsite，我的管理面板位于该文件夹中，还有其他目录，如ajax，jquery等等，我想知道，是否有任何方法可以将我的管理目录隐藏在搜索引擎中目录被访问，网络服务器自动指向索引页面，其中有一个登录表单，我通过加密保护，但这是一个风险，我想，请提供任何链接或任何其他有用的建议，以防止上述内容。

谢谢

Answer 1

此处的关键字为robots.txt

更多信息：

• http://www.robotstxt.org/
• http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449

请注意，这只是推荐;恶意机器人/爬虫/蜘蛛无论如何都可以扫描/查找/发现目录。缺点是：恶意机器人/爬虫/蜘蛛将使用这个文件来快速发现哪些目录不应该被“发现”。您需要的是登录机制，而不是“隐藏”管理目录的方式。

你也可以求助（mentioned by Harry Beasant）到.htaccess，但这个也只是排除了searchengines而不是恶意用户（特别是Harry Beasant的“回答”也导致了另一个无辜的网站，以获取不必要的流量 ...严重不冷静）。另外：很多搜索引擎都不会被改写;所以这可能会解决你的谷歌/ MSN / ......的“问题”，但不会，例如Bing或百度（搜索引擎世界的两个主要参与者）。最后，Harry遗漏（或没有特别提及）的是，你需要把这个.htaccess 放在管理目录中;如果你意外地将它放在你的网站根目录中，那么该网站将完全从那些搜索引擎中消失。凭借一个小小的错误，你在窗外赢得了来之不易的声誉。如果你问我就很危险。

禁用目录列表（如mentioned by Squeezy）总是一个好主意，不仅适用于管理目录。但是，这并不能阻止恶意用户“发现”您的管理目录。

只是不依赖于Security through obscurity 并为自己建立一个不错的登录机制。

Answer 2

最好使用.htaccess文件来保护目录;

你可以这样做;

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AltaVista [OR]
RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp
RewriteRule ^.*$ "http\:\/\/htmlremix\.com" [R=301,L]

这会阻止搜索引擎机器人对其编制索引。

Answer 3

只要您没有链接到管理面板，就应该是安全的。确保没有为父文件夹启用目录列表。

典型的搜索引擎不会猜测您的目录。 实际上，设置robots.txt会将您的目录暴露给扫描仪（因为它在那里被提到），而不是将它放在一个未公开的位置。

Answer 4

您可能需要查看/robots.txt文件，该文件可以配置为从搜索引擎中排除特定目录。你可以使用类似的东西：

User-Agent: *
Disallow: /admin/

（假设您要排除的目录名为admin）。这将告诉机器人不要访问它，但当然它不会阻止他们这样做，如果他们真的想...（当然“好的”搜索引擎尊重这个标准）。