由于遗留原因存在重复的开发网站，并且正在等待完全删除，因此它的robots.txt文件中始终有一条规则拒绝所有搜索引擎，但有一次robots.txt被意外删除，并且在某个时间点有两个跨域重复，Google将整个重复网站编入索引，并导致数千条生产网站的传入链接显示在Google网站管理员工具中（您在网站上的网站＆gt;链接到您的网站）位点）。
robots.txt已恢复，整个开发网站受密码保护，但来自重复网站的传入链接仍保留在生产网站网站管理员工具中，即使开发网站robots.txt已由Google下载几小时前。
我花了好几个小时阅读这篇文章，并在网上看到很多矛盾，所以希望从stackoverflow获得有关如何执行完整网站删除的最新共识，并删除指向开发网站的链接来自Google的生产网站。
答案 0 :(得分：0)
没有人能够准确地告诉你谷歌从索引中删除“坏”链接需要多长时间，但这可能需要几天而不是几小时。要记住的另一件事是，只有“好”的抓取工具才能真正尊重你的robots.txt文件，所以如果你不希望这些链接显示在其他地方，只需在你的robots.txt文件中使用disallow肯定不会够了。