为什么Google Bot抓取不存在的CSS文件？

Question

Google Bot Crawler一直在尝试抓取生产中我网站上不存在的CSS文件。

它要求：

http://www.mywebsite.com/assets/index-d45678283d4ab9905c3538184826e599.css

生产中不存在这个确切的文件名（生产中的文件名略有不同）。

但是，它请求的CSS文件确实存在于开发中：

http://localhost:3000/assets/index-d45678283d4ab9905c3538184826e599.css

我不确定为什么要求这个文件。

我使用Capistrano（加载“部署/资产”）在部署到生产之前预编译我的资产。

现在，我只是在robots.txt中阻止此文件，但每次部署后它请求的css文件都会更改。

为什么GoogleBot要抓取生产网站中不存在的此文件？我该如何阻止它？

Answer 1

GoogleBot可能会看到两件事之一：

• 它会在您的网站上看到该文件被错误引用的位置 - I.E.旧代码构建。我会在你的实际网站（捆绑）中搜索该文件。
• 它会记住上一个版本中的文件，并且正在尝试检查它是否有更新。

令我困惑的是，在您的服务器发出404响应之后，它不会忽略它，但Google软件的内部工作方式是黑盒子;没有真正的方法可以告诉它为什么会这样做。

也就是说，他们提供Webmaster Tools Panel，允许您对其索引进行一些自定义等。