如何告诉Google不要抓取一组网址

Question

如何阻止Google抓取我的应用中的某些网址？

例如：我希望Google停止抓取以http://www.myhost-test.com/

开头的所有网址

我应该在robot.txt中添加什么内容？

Answer 1

答案可以直接在这里找到：

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449

但看起来你添加了“禁止”和你的网址。