我有一个HTML / PHP / CSS网站,非常简单,我没有robots.txt文件。该网站已编入索引,非常棒。
但是现在我为我需要的东西创建了一个页面,我想让那一页没有索引。
我是否必须为其创建robots.txt文件,或者是否有更简单的方法来创建robots.txt?
另外,我在问之前为此做过Google,我发现了一篇文章,指示在<head>
代码下将以下代码放在您的页面上:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
我做到了。但是,在我在此处检查了页面后:http://www.seoreviewtools.com/bulk-meta-robots-checker/
它说:Meta机器人:没找到 说明:对检测到的索引或服务没有限制。
那么,我怎样才能使该页面无索引?
答案 0 :(得分:0)
虽然拥有robots.txt文件是您可以做的最好的,但绝不能保证搜索机器人不会索引该页面。我相信大多数,如果不是所有可敬的搜索引擎都会遵循该文件中的限制,但有很多其他机器人没有。
也就是说,如果你没有链接到任何地方的页面,没有搜索引擎会索引它 - 至少在理论上:如果你或其他人访问该页面,他们的浏览器或扩展提交该页面进行索引,它无论如何最终会被编入索引。