我正在尝试在python中编写一个webscraping程序。但是,我想要抓取的页面是在登录后面。我有一个帐户,并且一直在尝试关注here 发布的帮助。我认为我已经做好了一切,但我无法通过登录。我的代码发布在下面:
/spark-submit --conf spark.shuffle.consolidateFiles=true --verbose --class "ril.bigdata.com.Main" --master local[*] ~/Desktop/TibcoMsgConsumer-1.0-SNAPSHOT.jar
答案 0 :(得分:1)
你遗漏了一些东西。
loginurl是
login_url =' https://login.fidelity.com/ftgw/Fas/Fidelity/RtlCust/Login/Response/dj.chf.ra'
你需要在帖子中传递这两个额外的参数
' DEVICE_PRINT' :'版本%3D3.4.2.0_1%26pm_fpua%3Dmozilla%2F5.0 +(x11%3B + linux + x86_64%3B + rv%3A41.0)+ gecko%2F20100101 + firefox%2F41.0%7C5 .0+(X11)%7CLinux + x86_64的%&#39 ;, ' SavedIdInd' :' N',
其SSN和PIN(大写)
之后我尝试了这个网址,它对我有用。
response = s.get(' https://oltx.fidelity.com/ftgw/fbc/oftop/portfolio')
print response.content