是否有可靠方式阻止Google抓取/索引/缓存网页?
我正在考虑创建一个产品,用户可以使用临时网址暂时共享信息。
信息不是很保密,但我肯定不希望它出现在某些缓存甚至是搜索结果上。
最可靠的方法是什么,以及可能存在的陷阱是什么?
答案 0 :(得分:2)
制作robots.txt文件。有关信息,请参阅http://www.robotstxt.org/。
您还可以在index.html的<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
中使用<HEAD>
。
Google针对robots.txt处理的规范为here。