我正在使用具有混合大小网址的网站上工作，类似于youtube。我们在服务器上生成ID，我选择了base 62（数字，小写和大写字母），因此它们会更短。所以网址可能类似于example.com/user/123AbCaBc Facebook机器人似乎经常使用全小写版本example.com/user/123abcabc来访问我的网站这会导致404错误，因为全小写ID不是数据库。
根据日志，没有其他用户代理创建404，所以这肯定是机器人而不是人。这是我看到的用户代理：
facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
这种情况大约每4分钟发生一次。我目前没有记录非404次点击，因此我不确定是否还有其他非小写版本。
这里的服务器技术是nodejs / mongodb，但我不知道这与手头的问题有什么相关性。
我可以做些什么来修复脸书？这里有问题，还是我应该将这些日志错误剔除？其他人有类似的问题吗？
答案 0 :(得分：3)
Node“Webserver application”（您使用Express吗？）当前可能不支持字节范围。如下所述，Facebook抓取工具显然具有降低URL的后备行为：
看看
关于如何解决这个问题。