我不希望搜索引擎索引我的版本说明页面。我怎么能这样做？
答案 0 :(得分：36)
此外，您可以在该页面的HEAD中添加以下元标记
<meta name="robots" content="noindex,nofollow" />
答案 1 :(得分：28)
您需要一个简单的robots.txt文件。基本上，它是一个文本文件，告诉搜索引擎不要索引特定的页面
您不需要将其包含在页面的标题中;只要它位于您网站的根目录中，它就会被爬虫取走
在您网站的根文件夹中创建它，并将以下文本放在：
User-Agent: *
Disallow: /imprint-page.htm
请注意，您将示例中的imprint-page.html替换为您希望不被编入索引的页面（或目录）的实际名称。
就是这样！如果您想获得更高级的内容，可以查看here，here或here以获取更多信息。此外，您还可以在线找到可为您生成robots.txt文件的免费工具（例如here）。
答案 2 :(得分：5)
您可以设置robots.txt文件，尝试告诉搜索引擎忽略某些目录。
基本上：
User-agent: *
Disallow: /[directory or file here]
答案 3 :(得分：3)
如今，最好的方法是使用漫游器元标记并将其设置为noindex,follow：
<meta name="robots" content="noindex, follow">
答案 4 :(得分：3)
<meta name="robots" content="noindex, nofollow">
只需在<html> <head>标记中加入此行即可。为什么我告诉你这个，因为如果你使用robots.txt文件来隐藏你的URL，这些URL可能是你不会向其他人或搜索引擎显示的登录页面或其他受保护的URL。
我可以做的只是直接从您的网站访问robots.txt文件，并且可以看到您拥有的网址是秘密的。那么这个robots.txt文件背后的逻辑是什么？
好方法是从上面加入元标记，让自己远离任何人。
答案 5 :(得分：0)
创建robots.txt文件并在那里设置控件。
以下是Google的文档： http://code.google.com/web/controlcrawlindex/docs/robots_txt.html
答案 6 :(得分：0)
机器人想要访问网站网址，比如http://www.example.com/welcome.html。在此之前，它首先检查http://www.example.com/robots.txt，并发现： 你可以明确禁止：
User-agent: *
Disallow: /~joe/junk.html
请访问以下链接了解详情 robots.txt