如何打开浏览器并连接到网站然后使用java中的jsoup解析该网站？

Question

我有一个需要一点网页抓取的项目。主要要求是让用户在java应用程序中输入他的数据。然后，应用程序将连接到数据输入网站，然后它将自动输入用户输入到该网站的数据。我还没有开始编码，因为我不知道从哪里开始。我已经对此进行了一些研究，它指出了jsoup和桌面api（用于webscraping的jsoup和用于打开浏览器的桌面api）。希望收到Java专家的回复。

谢谢！

Answer 1

JSoup肯定会为你做刮。但是你需要处理HTTP（GET / POST等），为此我建议Apache Http Components。

我不确定您是否要打开浏览器。相反，我希望您向用户询问输入（可能通过Swing UI或基于浏览器的UI），然后使用HTTP直接与网站对话。我认为您不需要打开浏览器到目标网站。如果您这样做，请查看Watij，它允许您直接从Java驱动浏览器。