Question

我有一个暂存网站，我用它来为我的实际网站草拟新功能，更改和内容。

我不希望它被编入索引，但我希望解决方案比将以下内容添加到我网站上的每个页面更容易一些：

<meta name="robots" content="noindex, nofollow">

我能否以类似于使用.htaccess文件向域名添加密码的方式执行此操作？

Answer 1

robots.txt standard就是为了这个。实施例

User-agent: *
Disallow: /protected-directory/

搜索引擎会遵守这一点，但当然内容仍然会被发布（如果你把URL放在robots.txt中，可能更容易被发现），所以通过.htaccess进行密码保护也是一种选择。

Answer 2

你想要的是robots.txt file

该文件应该在您的服务器根目录中，内容应该是类似的内容;

User-agent: *
Disallow: /mybetasite/

这将礼貌地要求搜索索引服务不要索引该目录下的页面，所有表现良好的搜索引擎都会尊重这些页面。

Answer 3

确实，站点根目录robots.txt是可行的方法。要添加多个条目（如OP所示），请执行以下操作：

User-agent: *
Disallow: /test_directory_aaa/
Disallow: /test_directory_bbb/
Disallow: /test_directory_ccc/

或者，采取.htpasswd路线：

在.htaccess中，添加：

AuthType Basic
AuthName "Marty's test directory"
AuthUserFile /test_directory_aaa/.htpasswd
AuthUserFile /test_directory_bbb/.htpasswd
AuthUserFile /test_directory_ccc/.htpasswd
require valid-user

在.htpasswd中，添加：

username1:s0M3md5H4sh1
username2:s0M3md5H4sh2
username3:s0M3md5H4sh3

Answer 4

将以下代码放在robot.txt中，该代码应位于根目录中，以拒绝整个网站编制索引。

User-agent: *
Disallow: /

Answer 5

在public_html目录中创建一个名为Robots.txt的文件。

将以下代码放入其中：

    User-agent: * 
    Disallow: /foldername/

foldername是您要阻止的目录的名称

Answer 6

SEO的特定块文件：要指定匹配URL的结尾，请使用$。例如，要阻止任何以.xls结尾的网址：

用户代理：* 禁止：/ *。xls $

价： http://antezeta.com/news/avoid-search-engine-indexing

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449&topic=1724262&ctx=topic

我可以阻止搜索引擎索引我网站上的整个目录吗？

6 个答案: