我想知道这段代码是否禁止每个搜索引擎扫描我的目录。
User-agent: *
Disallow: /
这个代码是否也使用新的htlm 5 protocole进行了更新？
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
真的有用还是不再需要？
答案 0 :(得分：0)
不，它只会阻止那些遵守robots.txt协议的人（存在故意违反robots.txt的搜索引擎以找到“隐藏”的东西）。
然而，它会阻止普通消费者使用的绝大多数搜索引擎看到它。