Question

我正在尝试通过Web抓取网站，但始终出现此“浏览器不支持”错误。有谁知道如何解决这一问题？谢谢。

import bs4
import requests

headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) '
                         'Chrome/39.0.2171.95 Safari/537.36'}

session = requests.get("https://revengeofficial.com/webstore", headers=headers)

page = bs4.BeautifulSoup(session.text, "html.parser")

print(page.title.text)

输出：http://prntscr.com/kozv1x

编辑：经过多次尝试，我仍然找不到解决方案，其他人可以帮忙吗？

Answer 1

以下用户代理似乎可以正常工作：

Type T1

显示：

import bs4
import requests

headers={'User-Agent': 'Mozilla/5.0 (iPad; U; CPU OS 3_2_1 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Mobile/7B405'}
session = requests.get("https://revengeofficial.com/webstore", headers=headers)
page = bs4.BeautifulSoup(session.text, "html.parser")

print(page.title.text)

如果这不适用于您，请尝试使用其他IP地址发出请求。您还可能对服务器发出了太多请求。

使用Python 3.6.3，请求2.18.4，BeautifulSoup 4.6.0进行了测试

Answer 2

我认为问题与用户代理标头有关。我尝试使用您的用户代理在POSTMAN中执行GET请求，但该请求不起作用，但是对于此请求，它却起作用了：

“用户代理”； 'Mozilla / 5.0（Windows NT 6.1; Win64; x64）AppleWebKit / 537.36（KHTML，如Gecko）Chrome / 68.0.3440.106 Safari / 537.36'

使用BeautifulSoup进行Web爬网时出现“不支持浏览器”错误

2 个答案: