我正在使用wget下载可以在linux / osx / windows上使用的url。我的问题是服务器行为是否会受到用户代理字符串（-U）选项的影响？根据{{3}} ，网络服务器可以使用此信息提供针对您的特定浏览器量身定制的内容 。根据{{3}} ，您可以使用这些指令拒绝访问特定浏览器（用户代理）。 所以我想知道是否需要下载链接不同操作系统的不同用户代理或一次下载就足够了。
这实际上完成了吗？我尝试了很多服务器，但并没有真正看到用户代理的不同行为。
答案 0 :(得分：-1)
当有些网站通过自动化工具而不是浏览器检测到您的服务器时，会通过返回错误响应来阻止抓取，而用户代理是检测这种差异的方法之一。
除此之外，关于这一点没什么用处，因为我们不知道您想要定位哪些网站，它们运行的HTTP服务器以及运行的代码。