Beautifulsoup request.post无法正确抓取

时间:2020-03-12 21:35:15

标签: python web-scraping beautifulsoup

我正在尝试抓取需要登录的网站:

RecyclerView

此代码将抓取页面,但前提是您只有未登录时才刮取该页面-即,没有期望准确登录的返回数据。

我在哪里错了?

1 个答案:

答案 0 :(得分:0)

我认为您将用户名和密码发送到错误的URL。 https://www.spotrac.com/signin/submit/是显示登录字段的页面,而login_url = 'https://www.spotrac.com/signin/submit/' data = { 'email': 'a****@gmail.com', 'password': '******' } with requests.session() as s: response = requests.post(login_url , data) index_page= s.get('https://www.spotrac.com/nba/contracts/breakdown/2010/') soup = BeautifulSoup(index_page.text, 'html.parser') 是单击提交时凭据发送到的页面。

我无法测试此代码,因为我不想支付30美元

{{1}}