无法使用beautifulsoup 4.6.3(Anaconda)在python 3.7中抓取“ https”

时间:2019-03-13 00:20:15

标签: python html web-scraping https beautifulsoup

由于从sportsbet.com.au抛出异常而未能成功。

我无法读取异常,因为终端关闭太快。但是,我认为该错误是由于从https站点而非http站点抓取而造成的。

例如,此https网站无法正常工作:

https://www.sportsbet.com.au/

https://en.wikipedia.org/wiki/Wiki

https://www.google.com/

网站也不重定向到https:

http://www.sportsbet.com.au/

http://en.wikipedia.org/wiki/Wiki

http://www.google.com/

但是,该网站可以正常工作:

http://www.espncricinfo.com/

代码如下:

import requests 
from bs4 import BeautifulSoup
import re

url = 'website' #insert website link.
page = requests.get(url)

soup = BeautifulSoup(page.content, 'html.parser')

input("Press enter to exit ;)")

我尝试了page = requests.get(url,verify = False)没有成功。

0 个答案:

没有答案