我已经在python中编写了一个脚本,并结合请求以及使用代理从黄页澳大利亚获取不同咖啡店的名称。但是从未使用过代理。我尝试了几次以从该页面获得响应。但是,无法拥有。我有什么问题吗?提前致谢。
这是我尝试过的:
import requests
from bs4 import BeautifulSoup
with requests.session() as session:
session.headers={"User-Agent":"Mozilla/5.0"}
page = session.get('https://www.yellowpages.com.au/search/listings?clue=coffee+shop&locationClue=all+states&lat=&lon=&selectedViewMode=list',
proxies={'http': 'http://localhost:8000', 'http': '169.50.87.252:80'})
soup = BeautifulSoup(page.text,"lxml")
for item in soup.select(".listing-name"):
print(item.text)
顺便说一句,执行时它既不会提取任何数据也不会抛出任何错误。