Question

我想使用Jsoup抓取只有在我登录时才能使用的页面。我想这意味着我需要在一个页面上登录并将Cookie发送到另一个页面。
我读了一些早期的帖子here并编写了以下代码：

public static void main(String[] args) throws IOException {
    Connection.Response res = Jsoup.connect("login.yahoo.com")
        .data("login", "myusername", "passwd", "mypassword")
        .method(Method.POST)
        .execute();

Document doc=res.parse();
String sessionId = res.cookie("SESSIONID");

Document doc2 = Jsoup.connect("http://health.groups.yahoo.com/group/asthma/messages")
        .cookie("SESSIONID", sessionId)
        .get();

Elements Eles=doc2.getElementsByClass("message");

String content=Eles.first().text();

System.out.println(content);

我的问题是如何在此处知道我的cookie名称（即“SESSIONID”）以发送我的登录信息？我使用.cookies()方法从登录页面获取所有cookie：

乙
  DK
  YM
  Ť
  PH
  ÿ
  ˚F

我一个接一个地尝试过，但都没有用。我可以从其中一些获得sessionId，但我无法从第二页成功获取节点，这意味着我没有成功登录。有人能给我一些建议吗？非常感谢！

Answer 1

我也在努力登录使用jsoup的网站。

我想到的是selenium webdriver和jsoup的混合体。

Webdriver可以远程控制浏览器，通常用于测试目的。

对于我的应用程序，不希望浏览器可见，并且在屏幕上搞乱。所以我使用了“无声”webdriver：HtmlUnitDriver。您可以使用以下代码行进行实例化：

HtmlUnitDriver driver = new HtmlUnitDriver(true); // true meaning javascript support (Using rhino i be leave)

现在登录我使用的网站：

String baseUrl = "http://www.thesite.com";

driver.manage().timeouts().implicitlyWait(30, TimeUnit.SECONDS);

driver.get(baseUrl);

driver.findElement(By.id("TextBoxUser")).clear();
driver.findElement(By.id("TextBoxUser")).sendKeys("username");
driver.findElement(By.id("TextBoxPass")).clear();
driver.findElement(By.id("TextBoxPass")).sendKeys("password");
driver.findElement(By.id("Button1")).click();

获取页面内容：

String htmlContent = driver.getPageSource();

开始使用jsoup：

Document document = Jsoup.parse(htmlContent);

这对我有用。

Steffn Otto Jensen

Answer 2

你有没有试过这样的事情：

Connection.Response res = Jsoup.connect("https://login.yahoo.com/config/login?")
    .data("login", "myusername", "passwd", "mypassword")
    .method(Method.POST)
    .execute();

 Map<String, String> cookies = res.cookies();

 Connection connection = Jsoup.connect("http://health.groups.yahoo.com/group/asthma/messages");

 for (Map.Entry<String, String> cookie : cookies.entrySet()) {
     connection.cookie(cookie.getKey(), cookie.getValue());     
 }

 Document doc=  connection.get();
 // #code selector
 // Example
 // Element e=doc.select(".ygrp-grdescr").first();
 // System.out.println(e.text()); // Print => This list will be for asthmatics, and anyone whose       life is affected by it. Discussions include causes, problems, and treatment

我希望你能解决这个问题。

使用Jsoup登录和抓取数据

2 个答案: