noindex,noarchive for dead web pages?您认为什么是正确的?

时间:2009-06-05 01:17:51

标签: web-applications tags metadata

我注意到有相当数量的网络应用,特别是与已删除的网页/帐户无关。

首先,我将声明我的内容是内容所有者始终拥有内容,如果内容被删除或所有者删除了帐户,提供商/网络应用应该尽一切可能停止索引所述内容。

对此,我认为合理的策略是将404页面和占位符页面设置为其元标记中的noindex,nofollow和noarchive。

所以有几个例子,Flickr在删除帐户时都不会这样做,而是返回说帐户被删除的页面。

www.flickr.com/people/rebelchrome

Friendfeed返回404,没有特殊的元标记。

在这种情况下,您认为最佳/正确的做法是什么?

1 个答案:

答案 0 :(得分:1)

响应代码410 Gone适用于死网页(不再存在的网页,没有明显的替代方案)。页面仍然可以返回正文。

搜索引擎遇到410 Gone状态响应将能够意识到页面不再存在并且可以采取相应的行动 - 对于大多数搜索引擎而言,这意味着只是将其从索引中删除。

遇到该页面的人只会看到页面正文。就像404一样,你可以有一个自定义410页面,这可能是相似的 - 包含页面不再存在的简短消息,也可能是一个迷你站点地图和搜索框,允许用户在上面找到替代内容站点。

当页面返回410/404响应时,使用像noindex这样的机器人指令并不是必需的,因为响应代码说的都是真的。

您链接到的flickr页面包含消息,迷你站点地图和搜索框,但可能应该返回410或404错误响应,而不是200响应。