如何使用robots.txt禁止服务器中的目录

Question

我在同一台服务器上有两个域，我想在其中一个域中禁止搜索引擎：

www.example.com - ＆gt;指向root www.example.net - ＆gt;指向目录

我在.net目录中添加了robots.txt，以禁止所有www.example.net这样的内容：

User-agent: *
Disallow: /

我做对了吗？我是否仅在.net？

中禁止使用搜索引擎

Answer 1

从this page可以看出，是的，你正在做正确的事情：

User-agent: *
Disallow: /

如果这两个网站位于同一目录中，则我无法知道仅针对一个网站禁止robots.txt。 但是，正如同一页面所述，这仅适用于well behaved robots，这意味着某些搜索引擎可以完全解除robots.txt。

如果确实需要.net从搜索引擎获得安全保障，那么这样做的一个简单方法是在.htaccess中添加用户名和密码保护（任何用户访问） .net也必须有用户名/密码）：

AuthType Basic
AuthName "Password Protected Area"
AuthUserFile /path/to/.htpasswd
Require valid-user

htpasswd的：

[user]:[password]