我使用ASP.Net，我有一个自定义的404页面。当用户粘贴未找到的网址时，它将重定向到自定义404网页。但谷歌索引我的自定义404页面。搜索404（找不到页面）。
有人有解决方案吗？
答案 0 :(得分：8)
您可以将您的错误目录或每个文件限制为google，方法是将其添加到您网站根目录中的robots.txt文件中。这实际上适用于您不希望谷歌索引的任何目录/文件。
有关robots.txt的更多信息，请访问http://en.wikipedia.org/wiki/Robots.txt或http://www.robotstxt.org/。
答案 1 :(得分：5)
您可能希望确保您的“404页面”实际上是在发送HTTP 404响应代码，而不仅仅是一个显示404但实际以HTTP 200响应的页面。我不相信Google（或其他主要搜索引擎） ）将索引以404响应的请求引起的页面。
更大的问题是蜘蛛如何进入你的404页面。
答案 2 :(得分：1)
您可以使用漫游器元标记阻止Google对404页面编制索引。
<META NAME="ROBOTS" CONTENT="NOINDEX">
Google webmaster blog表示他们不会使用此元标记对网页编制索引。
答案 3 :(得分：0)
您将始终看到Google登录您的404页面的日志条目。因为Google需要请求该页面才能知道它的状态为404.但是，如果您要问的话，您应该永远不会在搜索结果中看到此页面？