从wunderground下载表与美丽的汤

时间:2017-09-18 13:14:00

标签: python web-scraping beautifulsoup request

我想要天气历史&以下链接的观察表:

https://www.wunderground.com/history/airport/HDY/2011/1/1/CustomHistory.html?dayend=31&monthend=12&yearend=2011&req_city=&req_state=&req_statename=&reqdb.zip=&reqdb.magic=&reqdb.wmo=

这是我到目前为止的代码:

import pandas as pd
from bs4 import BeautifulSoup
import requests

 link = 'https://www.wunderground.com/history/airport/HDY/2011/1/1/CustomHistory.html?dayend=31&monthend=12&yearend=2011&req_city=&req_state=&req_statename=&reqdb.zip=&reqdb.magic=&reqdb.wmo='

 resp = requests.get(link)

 c = resp.text

 soup = BeautifulSoup(c)

我想知道访问页面底部的表格信息的下一步是什么(假设这是一个很好的网站格式,允许这种情况发生)。

谢谢

1 个答案:

答案 0 :(得分:0)

您可以使用find_all

table = soup.find('table', class_="responsive obs-table daily")
rows = table.find_all('tr')