我使用robots.txt来限制我网站中的一个文件夹。该文件夹由正在构建的站点组成。谷歌已将所有处于测试阶段的网站编入索引。所以我用了robots.txt。我首先提交了该网站，并启用了robots.txt。现在www.mysite.com/robots.txt的状态是成功的。但谷歌仍在列出这些测试链接。这是我为robots.txt编写的代码......
User-agent: *
Disallow: /foldername/
有谁能告诉我这个问题可能是什么？提前致谢
答案 0 :(得分：3)
您是否按照Googles说明测试了robots.txt？ http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449
要测试网站的robots.txt文件：
- 在网站站长工具主页上，单击所需的网站。
- 在“站点配置”下，单击“爬网程序访问”
- 如果尚未选中，请单击“测试robots.txt”选项卡。
- 复制robots.txt文件的内容，然后将其粘贴到第一个框中。
- 在“URL”框中，列出要测试的站点。
- 在“用户代理”列表中，选择所需的用户代理。
答案 1 :(得分：3)
请参阅Google网站管理员博客中的Requesting Removal of Content from our Index。您可以使用Google Webmaster Tools提交删除请求，从而加快删除流程;否则，页面将在重新抓取时最终从索引中删除（即更新robots.txt文件没有立即更改;更改将在后续抓取时发生。）