我正在使用的大型网站每天从Google获取80K + 404s垃圾网址。我无法弄清楚他们来自哪里。这是一些样本。这些URI不存在于站点结构中的任何位置，所以我假设它们是由驱动Gbot抓取它们的外部代理/站点创建的。有人有主意吗？
2013年7月2日22:05 / Sl / 4watQCXBFtF6obwFRA0f35148b 10262 404 - 未找到否 推荐人Mozilla / 5.0（兼容; Googlebot / 2.1; + http://www.google.com/bot.html）
2013年7月2日22:05 / PvDIs6AveH9tju3tETtWg045cb22d 10261 404 - 未找到否 推荐人Mozilla / 5.0（兼容; Googlebot / 2.1; + http://www.google.com/bot.html）