尝试使用BeautifulSoup抓取网站时出现奇怪的错误

时间:2018-12-24 12:26:39

标签: python web-scraping beautifulsoup

当我抓取该网站时,出现一个无法修复的奇怪错误。这是错误:https://prnt.sc/lyz1gr

我尝试将用户代理添加到标头(我尝试了许多不同的标头),但错误仍然存​​在。

import bs4
import requests

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64)         
AppleWebKit/537.36 (KHTML, like Gecko) '
                     'Chrome/68.0.3440.106 Safari/537.36'}

session = requests.get("https://revengeofficial.com/webstore?User- 
Agent=Mozilla/5.0 (Windows NT 6.1; Win64; x64) "
                   "AppleWebKit/537.36 (KHTML, like Gecko) 
Chrome/68.0.3440.106 Safari/537.36")

page = bs4.BeautifulSoup(session.text, "html.parser")

print(page.title.text)

我希望能够看到页面的标题,但是尝试这样做时会出现错误。

2 个答案:

答案 0 :(得分:0)

似乎存在openSSL版本冲突。

对此进行查看,可能会有所帮助:Updating openssl in python 2.7

答案 1 :(得分:0)

尝试将ssl更新到较新的版本。