我已经阅读了前面的有关在尝试刮刮具有安全性的页面时出现403错误的问题。大多数建议使用“请求”来设置用户代理值。我已经在要抓取的页面上尝试过此方法,尽管它消除了错误消息,但脚本现在只是挂起(我尝试等待大约10-15秒,以便第二个打印语句产生任何结果)。
有什么想法吗?
from urllib.request import Request, urlopen
from bs4 import BeautifulSoup
print('Example: Search White Pages Smith in Frenchs Forest area:')
req = Request('https://www.whitepages.com.au/residential/results?name=Smith&location=Frenchs%20Forest', headers={'User-Agent': 'Mozilla/5.0'})
html = urlopen(req)
bs = BeautifulSoup(html.read(), 'html.parser')
print(bs.h1)