使用jsoup登录espn幻想足球联赛并刮取统计数据

时间:2015-03-12 17:49:33

标签: java android web-scraping jsoup

我有一个宠物项目,我正在努力与espn奇幻足球有关。任何我的联盟是私人的,它需要我登录到网站才能导航到该页面。例如,当我去

时在浏览器上

http://games.espn.go.com/ffl/standings?leagueId=491518&seasonId=2014

我被重定向到登录页面。我试图使用jsoup登录并从网页上删除一些数据,但我无法解决登录问题。无论我尝试什么,我都会不断重定向。

我检查了POST和GET请求,并在表单数据中找到了一些参数以及用户名和密码,例如"提交"," multipleDomains"," cookieDomain&#34我不确定我是否需要设置这些,我试过但它没有任何方式或我做错了什么。检查时我发现登录地址为

https://r.espn.go.com/espn/memberservices/pc/login

因此,当我使用该地址时,我不会被重定向,但它不会返回任何我可以在后续请求中使用的cookie来绕过重定向。

我正在寻找一些指导,或者看看是否有人这样做了?我已经看过所有" jsoup登录示例"并尝试了其中几个但似乎没有工作。任何帮助或指针将不胜感激。也许除了jsoup之外,还有更好的方法/工具吗?我在jsoup上并不难,它似乎非常受欢迎且稳定。

1 个答案:

答案 0 :(得分:1)

我希望这也可以帮助某人,但事实证明我确实错过了表单数据中的一个项目:/如果有人尝试与ESPN类似的东西,那么正确的表单数据元素是

failedAttempts
SUBMIT
failedLocation
aff_code
appRedirect
cookieDomain
multipleDomain
username
password
submit

使用Chrome的开发人员选项并检查登录标题可以找到所有这些内容。