如何告诉谷歌机器人某些链接不再存在

时间:2011-01-31 09:56:04

标签: seo googlebot web-crawler

在网站的最初几天,我在生成一些链接时犯了一个错误;跟随它们会输出数据库错误。

Google bot已尝试关注这些链接,现在它们在网站管理员工具中显示为抓取错误。 虽然我已经纠正了错误,谷歌仍然试图抓取它们。

如何告诉Google这些链接不再存在,并且它们导致无处可去?我不能做一个301重定向原因,可以说链接是有效的,可以索引它们。

2 个答案:

答案 0 :(得分:5)

如果页面没有逻辑替换,那么您通常应该返回404错误,在这种情况下我会考虑返回410 Gone - 这表示页面已永久删除返回,应该从googles指数中清除。

对于相关网址,可能值得利用您现有的代码库,以确保不会留下任何链接。

301 301并不意味着链接有效,301永久移动。这告诉谷歌它以前在这里寻找的页面现在居住在其他地方,并将谷歌指向新的地方。从事物的声音不适用于你的情况,但与你描述它的方式略有不同。

有关详细信息,请参阅http://en.wikipedia.org/wiki/List_of_HTTP_status_codes

答案 1 :(得分:1)

我会在你的robots.txt中标记它们

http://www.robotstxt.org/robotstxt.html