请求模块是否不会从Google获取全部数据(网络抓取)

时间:2019-01-23 05:55:03

标签: python web-scraping beautifulsoup python-requests google-search-console

我正在尝试删除Google的天气详细信息。问题是我没有从网页上获取所有信息。我应该怎么做才能获得全部信息?我正在使用请求模块和漂亮的汤。

import requests
from bs4 import BeautifulSoup

url = "http://www.google.com/search?q=weather+in+rochester"
r = requests.get(url)
text = r.text
soup = BeautifulSoup(text, 'html.parser')
something = soup.find_all('span',{'class':'wob_t'})
temp = []
for i in range(len(something)):
    temp.append(something[i].get_text())
print(temp)

我希望能获得7天的温度,但我只能获得3天的温度,在此示例中,我无法从google上获得一些信息。它说明了有关多云或下雪的天气,但当我尝试得到它时,它不会让我。 当我运行程序时,我得到:

['24°C', '11 km/h', '27°C', '14°C', '28°C', '15°C', '28°C', '16°C', '28°C', '16°C']

但是我应该有8天的临时工作时间。 我检查了标签,所有温度都相同wob_t

0 个答案:

没有答案