数据从具有不支持的浏览器错误的网站获取请求

时间:2018-11-20 01:12:42

标签: python web-scraping python-requests

我基本上已经尝试了所有方法,但仍然收到不受支持的浏览器错误。我使用请求模块。我试过头,其他模块,但仍然相同。

import requests
url = "https://www.ratemyagent.com.au/"
response = requests.get(url)
html_icerigi = response.text
soup = BeautifulSoup(html_icerigi, "html.parser")

https://www.ratemyagent.com.au/,这是广告。因此,如果您有任何摆脱该错误的想法,请告诉我。

非常感谢

编辑:这是我尝试作为标题使用的内容:

user_agent ='Mozilla / 5.0(Windows NT 6.1; WOW64)AppleWebKit / 537.36(KHTML,如Gecko)Chrome / 41.0.2272.101 Safari / 537.36'标头= {'User-Agent':user_agent}响应= request.get (url,headers = headers)

版本// python 3. BeautifulSoup4:4.6.0请求:2.20 [这是带有汤。文本或响应文本的输出] [1]

1 个答案:

答案 0 :(得分:0)

它是not a error

当您通常通过https://www.ratemyagent.com.au/搜索chrome browser时,您获得的页面资源也具有您所说的信息:

enter image description here


虽然“按请求获取”模块的资源与从Web浏览器获取的资源相同,但我认为这不是错误。