使用Request无法修复Python 3 webscraping 403错误

时间:2019-02-20 06:41:17

标签: python web-scraping

我已经阅读了前面的有关在尝试刮刮具有安全性的页面时出现403错误的问题。大多数建议使用“请求”来设置用户代理值。我已经在要抓取的页面上尝试过此方法,尽管它消除了错误消息,但脚本现在只是挂起(我尝试等待大约10-15秒,以便第二个打印语句产生任何结果)。

有什么想法吗?

from urllib.request import Request, urlopen

from bs4 import BeautifulSoup

print('Example: Search White Pages Smith in Frenchs Forest area:')

req = Request('https://www.whitepages.com.au/residential/results?name=Smith&location=Frenchs%20Forest', headers={'User-Agent': 'Mozilla/5.0'})

html = urlopen(req)

bs = BeautifulSoup(html.read(), 'html.parser')

print(bs.h1)

0 个答案:

没有答案