Question

我正试图从该网站上抓取历史天气数据： http://www.hko.gov.hk/cis/dailyExtract_uc.htm?y=2016&m=1

在阅读了AJAX调用后，我发现通过以下代码请求数据的正确方法：

import requests
from bs4 import BeautifulSoup
import json
import pandas as pd

headers = {
'Accept': 'text/plain, */*; q=0.01',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'en-US,en;q=0.9',
'Connection': 'keep-alive',
'Host': 'www.hko.gov.hk',
'Referer': 'http://www.hko.gov.hk/cis/dailyExtract_e.htm?y=2016&m=3',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36',
'X-Requested-With': 'XMLHttpRequest'
}

with requests.Session() as s:
#request April 2015 weather data
    r = s.get(r"http://www.hko.gov.hk/cis/dailyExtract/dailyExtract_201504.xml",verify = False, headers = headers)
    soup = BeautifulSoup(r.content,'lxml')
data = json.loads(soup.get_text())['stn']['data'][0]['dayData'][:-2]
df = pd.DataFrame(data)

我注意到我检索到的数据不包含右侧的3列，在get请求中我错过了什么？

Answer 1

似乎您要请求整个年份，然后提取存在的月份

import requests
import json

with requests.Session() as s:
    r = s.get(r"http://www.hko.gov.hk/cis/dailyExtract/dailyExtract_2015.xml",headers = {'User-Agent': 'Mozilla/5.0'}).json()
    print(r['stn']['data'][3]['dayData'][0])

Answer 2

对不起，我已经解决了这个问题，这是一个愚蠢的问题。原来的数据来源与最近的数据不同，我对格式感到困惑。

Answer 3

修复请求网址。更改：

http://www.hko.gov.hk/cis/dailyExtract/dailyExtract_201504.xml

到

http://www.hko.gov.hk/cis/dailyExtract/dailyExtract_2015.xml

然后您可以在列表data['stn']['data']中获取第4个元素（或其他特定月份）

import requests
from bs4 import BeautifulSoup
import json
import pandas as pd

headers = {
'Accept': 'text/plain, */*; q=0.01',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'en-US,en;q=0.9',
'Connection': 'keep-alive',
'Host': 'www.hko.gov.hk',
'Referer': 'http://www.hko.gov.hk/cis/dailyExtract_e.htm?y=2016&m=3',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36',
'X-Requested-With': 'XMLHttpRequest'
}

with requests.Session() as s:
#request April 2015 weather data
    data = s.get(r"http://www.hko.gov.hk/cis/dailyExtract/dailyExtract_2015.xml",verify = False, headers = headers).json()
    df = pd.DataFrame(data['stn']['data'][3]['dayData'])

Python请求（AJAX请求）中缺少数据

3 个答案: