如何忽略我网站中的某些链接？

Question

我正在开发一个小的PHP脚本，我有一些像这样的链接

*-phones-*.html

*是我想要禁止谷歌使用robots.txt索引此类链接的变量，有可能吗？

Answer 1

你不能禁止任何事情。 robots.txt只是一组关于webcrawler的指南，他们可以选择是否遵循它们。

粗鲁的爬行者当然应该被禁止知识产权。但是你无法避免摄像头可能会遇到该页面。无论如何，你可以将它添加到你的robots.txt和googles webcrawler可能会服从。