这个robot.txt代码是否会禁止每个搜索引擎？

Question

我想知道这段代码是否禁止每个搜索引擎扫描我的目录。

User-agent: * 
Disallow: /

这个代码是否也使用新的htlm 5 protocole进行了更新？

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

真的有用还是不再需要？

Answer 1

不，它只会阻止那些遵守robots.txt协议的人（存在故意违反robots.txt的搜索引擎以找到“隐藏”的东西）。

然而，它会阻止普通消费者使用的绝大多数搜索引擎看到它。