GoogleBot（和恶意网站）请求无效目录

Question

GoogleBot正在从一个从未存在过的无效目录中请求有效文件。例如：

/energy/

附加到有效的路径和文件以生成：

/energy/css/example.css

奇怪的是，$_SERVER['HTTP_REFERER']还在无效目录中显示了有效页面（在此示例中http://www.example.com是我的网站）：

http://www.example.com/energy/docs/anthro/payment.php

/docs/anthro/是一个有效的目录，但payment.php永远不在此目录中，/energy/当然从未有效。

更奇怪的是，恶意网站也在/energy/请求有效网页，例如：

/energy/register.php

发生了什么事？

Answer 1

检查您的robots.txt和站点地图