Jsoup无法使用Groovy加载URL

Question

我无法使用Java / Groovy加载https://www.abc.ca.gov/datport/lqs.html?rpttype=5此网址以从此网页中提取信息。它使用POST方法进行请求。请帮忙解决。 使用InteliJIdea和Groovy。

Answer 1

JSoup和Groovy可以使用以下方法轻松加载页面：

@Grab('org.jsoup:jsoup:1.7.1')

// The URL to scrape
String url = "https://www.abc.ca.gov/datport/lqs.html?rpttype=5"
// Connect and get URL via Jsoup
def doc = org.jsoup.Jsoup.connect(url).get()

// Output the entire HTML page
println doc

使用Ajax检索页面上显示的表，要检索它，您需要从使用Javascript的请求中解析JSON。

您可能更容易尝试使用Geb，它可以等待加载数据的页面，然后您可以抓取它。