设置代理以使用JSOUP失败

时间:2017-01-23 11:11:42

标签: java url proxy web-crawler jsoup

我尝试设置代理以进行报废谷歌新搜索。

然而,出现错误:

Exception in thread "main" java.lang.RuntimeException: Uncompilable source code - Erroneous sym type: org.jsoup.Connection.proxy.userAgent.ignoreHttpErrors.followRedirects.timeout.ignoreContentType.get
    at javaapplication27.JavaApplication27.main(JavaApplication27.java:47)

RED LINE ERROR - >

  

无法找到符号。符号:方法代理(代理)

     

位置:接口连接

在这一行:

 Document document = Jsoup.connect(string+"&start="+(j+0)*10)
        .proxy(proxy)
        .userAgent(userAgent)
        .ignoreHttpErrors(true)
        .followRedirects(true)
        .timeout(100000)
        .ignoreContentType(true)
        .get();

_

Proxy proxy = new Proxy(                                      //
    Proxy.Type.HTTP,                                      //
    InetSocketAddress.createUnresolved("127.0.0.1", 8080) //
);
for (int j=0;j<3;j++) {
    Document document = Jsoup.connect(string+"&start="+(j+0)*10)
        .proxy(proxy)
        .userAgent(userAgent)
        .ignoreHttpErrors(true)
        .followRedirects(true)
        .timeout(100000)
        .ignoreContentType(true)
        .get();
    Elements links = document.select( ".r>a");
    ......
 }

我的进口

import java.io.IOException;
import java.io.UnsupportedEncodingException;
import java.net.InetSocketAddress;
import java.net.Proxy;
import java.net.URLDecoder;
import java.net.URLEncoder;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import static java.util.concurrent.TimeUnit.*;

如何解决?

1 个答案:

答案 0 :(得分:1)

.proxy()方法首先在jsoup 1.9.1中提供。你用的是哪个版本?

当我复制你的代码进行测试时,我发现有一些看不见的零宽度空间可能导致你得到的语法错误(你的问题是关于缺少接口和语法错误)。