我正在使用 jsoup 库,今天我遇到了问题。 我必须抓取 DuckDuckGo 并获取每个页面查询结果的所有标题,但使用
Document doc = Jsoup.connect("https://duckduckgo.com/html/?q=" + query).get();
我只得到关于第一页的结果。我怎样才能继续下一页?
答案 0 :(得分:0)
您需要从每个页面中提取表单参数以获取下一页的请求参数。这是如何:
public static Map<String, String> getFormParams(final Document doc) {
return doc.select("div.nav-link > form")
.first()
.select("input")
.stream()
.filter((input) -> {
return input.attr("name") != null && !input.attr("name").equals("");
})
.collect(Collectors.toMap(input -> input.attr("name"), input -> input.attr("value")));
}
public static void main(final String... args) throws IOException {
final String baseURL = "https://duckduckgo.com/html";
final Connection conn = Jsoup.connect(baseURL)
.userAgent("Mozilla/5.0 (Linux; Android 4.0.4; Galaxy Nexus Build/IMM76B) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.133 Mobile Safari/535.19");
conn.data("q", "search phrase"); // Change "search phrase"
// 1st page
final Document page1 = conn.get();
final Map<String, String> formParams
= getFormParams(page1);
// 2nd page
final Document page2 = conn.data(formParams).get();
}