无法从黄页获取任何数据

时间:2017-09-14 10:02:55

标签: python python-3.x web-scraping http-proxy

我已经在python中编写了一个脚本,并结合请求以及使用代理从黄页澳大利亚获取不同咖啡店的名称。但是从未使用过代理。我尝试了几次以从该页面获得响应。但是,无法拥有。我有什么问题吗?提前致谢。

这是我尝试过的:

import requests
from bs4 import BeautifulSoup

with requests.session() as session:
    session.headers={"User-Agent":"Mozilla/5.0"}
    page = session.get('https://www.yellowpages.com.au/search/listings?clue=coffee+shop&locationClue=all+states&lat=&lon=&selectedViewMode=list',
        proxies={'http': 'http://localhost:8000', 'http': '169.50.87.252:80'})
    soup = BeautifulSoup(page.text,"lxml")
    for item in soup.select(".listing-name"):
        print(item.text)

顺便说一句,执行时它既不会提取任何数据也不会抛出任何错误。

0 个答案:

没有答案