几天前，我们用更新版本替换了我们的网站。原始网站的内容已迁移到http://backup.example.com。搜索引擎不了解旧网站，我不希望他们知道。
在我们更新网站的过程中，Google抓取旧版本。
现在，当使用Google搜索我们的网站时，我们会收到新网站和旧网站的结果（例如http://www.example.com和http://backup.example.com）。
以下是我的问题：
答案 0 :(得分：8)
您应该在备份站点中放置一个robots.txt文件，并告诉机器人根本不要抓取它。谷歌将遵守这些限制，但不是所有的抓取工具都会遵守。您可以查看Google WebMaster Central上可用的选项。询问Google，看看他们是否会从他们的数据中删除错误的链接。
答案 1 :(得分：4)
您可以随时在backup。*网站上使用robot.txt来禁止谷歌将其编入索引。
此处有更多信息：link text
答案 2 :(得分：4)
备份站点和当前站点之间的URL格式是否足够一致，您可以将备份站点上的给定页面重定向到当前站点上的等效页面？如果是这样，您可以这样做，让备份站点将301永久重定向发送到您实际想要索引的站点上的每个等效页面。重定向页面应该从索引中删除（经过多长时间，我不知道）。
如果没有，请密切关注Zepplock提到的robots.txt。设置robots.txt后，您可以使用Webmaster Tools
加快从Google索引中删除答案 3 :(得分：0)
此外，您可以在脚本中制定规则，将每页的标题301重定向到新的
答案 4 :(得分：0)
Robots.txt是一个很好的建议，但是......谷歌并不总是倾听。是的，没错，他们并不总是倾听。
所以，禁止所有蜘蛛，但......也把它放在你的标题中
<meta name="robots" content="noindex, nofollow, noarchive" />
安全比抱歉更好。 Meta命令就像是在向Google大吼大叫“我不想让你做到这一页”。 ：）
两者兼顾，为自己省去一些痛苦。 ：）
答案 5 :(得分：0)
我建议您在所有旧页面中不添加索引元标记，或者仅通过robots.txt禁用。阻止robots.txt的最好方法。还有一件事是在新网站中添加站点地图，并在网站管理员中提交，以改善您的新网站索引。
答案 6 :(得分：0)
密码保护您不希望网络蜘蛛抓取/索引的网页或目录，方法是在.htaccess文件中放置密码保护代码（如果存在于您网站的服务器上的根目录中，或者创建一个新的并上传它） ）。 网络蜘蛛永远不会知道该密码，因此无法索引受保护的目录或网页。
答案 7 :(得分：0)
你可以阻止网站站长中的任何特定网址检查一次...即使你可以阻止使用robots.txt ....删除旧备份网站的站点地图，并为所有旧备份页面添加noindex no follow标记。 .i也为我的一个客户处理了这种情况............