noindex是robots.txt文件中的可选指令，还是用户代理，禁止，允许和抓取延迟的唯一选项？
例如，这对robots.txt文件的内容有效吗？：
用户代理：*
不允许：/
noindex：/
答案 0 :(得分：1)
noindex不是robots.txt文件的有效指令。不过，它是META机器人标签的有效指令。
robots.txt的唯一标准指令是“User-agent”和“Disallow”。某些浏览器支持一组扩展指令，包括“Crawl-delay”，“Allow”和“Sitemap”。 http://rield.com/cheat-sheets/robots-exclusion-standard-protocol似乎对标准和扩展指令有完整的解释。