如何使用Python中的beautifulSoup登录网站

时间:2017-09-19 07:12:49

标签: python python-requests urllib

我是Python的新手,我正在尝试从网站中提取数据。 为此,我只停留在登录网站的第一步。

这就是我的尝试:

#Importing Libs
import urllib3
from bs4 import BeautifulSoup
import requests
import http

jar = http.cookiejar.CookieJar(policy=None)

http = urllib3.PoolManager()

#Setting account details
acc_pwd = {'user_username':'userABC',
           'user_password':'ABC123'}
#enter URL           
quote_page = 'example.com'
response = http.request('GET', quote_page)
soup = BeautifulSoup(response.data)

print ("Data %s" % soup)

r = requests.get(quote_page, cookies=jar)
r = requests.post(quote_page, cookies=jar, data=acc_pwd)

print ("##############")
print ("RData %s" % r.text)

它只会让我回到登录页面。 不确定我是否正确输入了详细信息。

1 个答案:

答案 0 :(得分:0)

这通常对我有用:

from bs4 import BeautifulSoup
import requests
from requests import Request, Session
from requests_ntlm import HttpNtlmAuth 

base_url = ''
r = requests.get(base_url, auth=HttpNtlmAuth('domain\\username', 'password'))