从URL下载文件 - 从浏览器中确定，从“编程”中出错

Question

对于在开发者控制台中监控网络流量的许多网站，显示了几乎是JSON的文本文件的转换。

但是当我尝试通过代码获取此数据时，对于某些网站我得到了：

1. 状态403
2. 文件中的文本不是预期的JSON，而是错误消息。

有什么不对？从代码的角度来看 - 似乎没问题，URL是正确的（复制粘贴到浏览器工作正常）并且代码执行正常。

对我而言，似乎网址在浏览器中正常运行，但不是代码。

代码示例（java）：simplest way to read json from a URL in java

Answer 1

出现这种情况的原因有多种。

1. HTTP 403表示您已通过身份验证，但您使用的用户没有正确的权限...
2. 也可能是您没有从浏览器和客户端发送完全相同的HTTP标头。使用浏览器检查您发送的标头，并在代码中复制它们
3. 可能是您的浏览器会自动重定向到HTTPS而您的代码却没有。如果服务器只允许通过HTTPS访问，那么HTTP访问将无法工作（尽管我不希望看到403）