复杂的Web文档检索

Question

我需要从网站检索文档并解析它。 问题是：

1. 该网站同时使用http和https协议
2. 您需要登录该网站（我有一个普通帐户）
3. 从登录页面开始，至少有2个重定向才能自己登录

我管理了一个HTTPS连接并发布了我的登录信息并通过了，但我遇到了cookie管理和重定向问题....

Answer 1

commons-httpclient会有所帮助。

Answer 2

使用像HtmlUnit这样的库可能会有所帮助。