在抓取期间JSoup设置代理IP

Question

我编写了一个代码，使用Jsoup遍历网站，代码工作正常。

我正在抓取的网站在我的本地（印度IP）上访问时在页面上有不同的信息，在通过我的托管服务器（US Ip）访问时有一些不同的信息。有没有什么方法可以设置代理设置，以便它似乎也从服务器上从印度访问网站。

Answer 1

JSoup使用java.net.HttpURLConnection类来创建Web连接。该课程使用system properties to configure proxy connections。

假设您在myproxyhost端口80上运行了HTTP / HTTPS Web代理，您可以执行以下操作：

System.setProperty("http.proxyHost", "myproxyhost");
System.setProperty("http.proxyPort", "80");
System.setProperty("https.proxyHost", "myproxyhost");
System.setProperty("https.proxyPort", "80");

这将导致后续Jsoup.connect()次调用通过代理发出HTTP / HTTPS请求，而不是直接连接。