Question

我正在尝试从网站上抓取一些内容，但您必须登录才能查看特定内容。我想使用用户ID和登录进行登录密码和保持会话cookie：m.amway.com我尝试使用Jsoup ....但是在使用下面的代码后我意识到Jsoup无法读取javascript这是网站的基础.... 有没有人有一个方法可以用来登录，保持会话cookie，并使用Jsoup以外的东西刮掉内容？提前谢谢。

public String Jlogin(String User, String Pass) throws Exception{

    String title = "didnt work";

        Response logRes = Jsoup.connect(AmwayURL)
                .data("userid", User)
                .data("userpswd", Pass)
                .method(Method.POST)
                .execute();
        // get all cookies
        Map<String, String> cookies = logRes.cookies();
        Document doc1 = logRes.parse();
        String sessionId = logRes.cookie("JSESSIONID");
        Document doc2 = Jsoup
                .connect("https://m.amway.com/business/volume/pvbv/inquiry.ashx")
                .cookie("jsessionid", sessionId).get();
        System.out.println(doc2);

        title = doc2.toString() + "................." + sessionId;

    return title;
}

Answer 1

您可以使用名为HttpClient的更大的API。

有以下课程： - HttpGet - HttpPost - HttpEntity - HttpResponse

HttpResponse从任何页面读取Javascript，如下所示： EntityUtils.toString（HttpResponse.getEntity（））;

有关如何使用API的更多详细信息，请查看此链接（极端帮助）： http://www.codeblues.in/blog/?p=5

网站登录并保持会话cookie

1 个答案: