我正在尝试使用java程序抓取网站。 直到昨晚它完美无缺,但现在服务器返回错误代码401。
但是,我仍然可以通过我的网络浏览器看到我想要的页面。 所以,我不知道出了什么问题?如果服务器将我的IP添加到黑名单,那么为什么我可以通过Web浏览器查看URL?如果没有,还有什么可能导致401错误?
还有两点: 此站点没有用户名和密码,身份验证基于我的IP。
此外,我尝试更改我的用户代理,现在我收到错误503。
答案 0 :(得分:0)
根据您的IP地址,可能会根据用户代理或请求频率进行阻止。
答案 1 :(得分:0)
401是未授权的HTTP错误,您可以在浏览器中设置“记住我的用户/密码”,因为您可以通过Web浏览器而不是java程序查看该网站当然,您的Java程序中未启用此选项。