我正在对我的银行帐户进行一些网页抓取。
所有请求都在同一个域中。
我是这样开始的:
除了第一个请求之外的所有内容res = Jsoup.connect().cookies(res.cookies())
。 Cookie应该重复使用,有些会在请求之间添加。
有一些POST和GET请求,用户代理和一些标题已设置。
我收到错误401,这意味着凭据问题 - Fiddler已经证明Jsoup没有在最后一个请求中发送cookie。没有迹象表明服务器要求删除一些cookie,网站在浏览器中工作正常,所以我认为问题就在我身边。
令人惊讶的是,当我保存cookie以映射并将它们附加到此请求时,一切正常。我无法公开提供确切的数据,因为它是我的银行帐户,但我可以为开发人员提供Cookie /捕获的网络数据包。
这是一个错误吗?这是我的代码:
import java.io.IOException;
import java.util.Map;
import org.jsoup.Connection.Method;
import org.jsoup.Connection.Response;
import org.jsoup.Jsoup;
public class Test {
/**
* @param args
* @throws IOException
* @throws UnirestException
*/
public static void main(String[] args) throws IOException {
String userAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.1";
//get login page
Response res = Jsoup
.connect("https://example.com/")
.userAgent(userAgent)
.execute();
//send login
res = Jsoup
.connect("https://example.com/login")
.userAgent(userAgent)
.cookies(res.cookies())
.data("redirect", "/")
.data("login", "1234")
.method(Method.POST)
.execute();
//System.out.print(res.body());
//send password
res = Jsoup
.connect("https://example.com/login")
.userAgent(userAgent)
.cookies(res.cookies())
.data("redirect", "/")
.data("user", "1234")
.data("password", "1234")
.method(Method.POST)
.execute();
//System.out.print(res.body());
Map<String, String> cookies = res.cookies();
//json
//here cookies are sent properly
res = Jsoup
.connect("https://example.com/0/0/list.json?d=1451669517333")
.userAgent(userAgent)
.cookies(res.cookies())
.method(Method.GET)
.ignoreContentType(true)
.execute();
System.out.print(res.body());
//json
//here is the problem with cookies - fix is to use Map of cookies from above
res = Jsoup
.connect("https://example.com/ord/0/0?a=23000&d=1451669539678")
.userAgent(userAgent)
.cookies(cookies)
.header("Host", "example.com")
.header("Connection", "keep-alive")
.header("Accept", "application/json, text/plain, */*")
.header("X-Requested-With", "XMLHttpRequest")
.header("Referer", "https://example.com/")
.header("Accept-Encoding", "gzip, deflate, lzma, sdch")
.header("Accept-Language", "pl,en-US;q=0.8,en;q=0.6,de;q=0.4")
.method(Method.GET)
.ignoreContentType(true)
.execute();
System.out.print(res.body());
}
}
答案 0 :(得分:1)
由于第二个但最后一个答案似乎没有返回任何Cookie,因此您无法将该响应用作最终查询的Cookie的来源。 JSoup不会为您自动处理cookie。在每个请求中,您需要指定要发送的cookie - 就像您一样。但是,每次使用新响应时,您也会覆盖变量res
。如果您不在地图中保存连接的cookie,则旧cookie将与响应一起删除。所以你使用地图的方法是完全有效的,我会继续使用这种模式。
如果您想要更自动的cookie管理,我建议您使用Apache httpClient库。