无方案URLS和行为不端的爬虫

Question

我使用无方案网址来加载很少的外部库。

//ajax.googleapis.com/ajax/libs/jquery.....

我面临的问题是很少有抓取工具将它们视为相对网址

www.mydomain.com//ajax.googleapis.com/ajax/libs/jquery.....

如何处理抓取工具的此类链接。

我正在使用Nginx服务器，但我对Nginx来说相当新。

是否可能有某种重写？

Answer 1

您的网址实际上是有效的，抓取时抓取此情况是抓取工具的错误，我会忽略它。

此外，404响应也可以从您的服务器生效，因为抓取工具正在请求www.example.com//ajax.googleapis.com/..实际上不存在。