嗨先生，什么是阻止谷歌在搜索引擎中显示文件夹的最佳方式？，例如www.example.com/support，如果我希望支持文件夹在谷歌中消失，我该怎么办？ 我做的第一件事是放置一个'robots.txt'文件并包含此代码
User-agent: *
Disallow: /support/etc
但结果是完全灾难，我不能再使用支持页面，除非我删除了robots.txt 什么是最好的事情？
答案 0 :(得分：1)
阻止Google在搜索引擎中显示文件夹的最佳方式是什么？
robots.txt文件是执行此操作的正确方法。您的示例对于阻止/support/etc目录及其后代是正确的。
我无法再使用支持页面，除非我删除了robots.txt
robots.txt文件会影响网站的运行方式，这当然不应该影响人类可以访问的页面。我怀疑还有其他问题 - 请检查您的服务器日志以查看正在记录的错误类型。
答案 1 :(得分：1)
虽然不是限制机器人访问的首选方法，但Google会讨论使用noindex元标记here。如果它们被您自己以外的网站链接，这也会阻止各个页面显示。
可以找到关于限制访问您网站的漫游器的良好讨论here。
答案 2 :(得分：1)
robots.txt不应影响您的网页功能。如果有疑问，您可以使用工具生成http://www.searchenginepromotionhelp.com/m/robots-text-creator/simple-robots-creator.php或http://www.seochat.com/seo-tools/robots-generator/
在机器人文件中禁用时，您可以显式指定文件或子文件夹，而不仅仅是文件夹。
您还可以在文档中使用元标记告诉抓取工具不要使用它
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">