如何跨数据框记录请求

时间:2019-07-11 21:10:01

标签: python-2.7 dataframe web-scraping

我正在尝试对请求的URL的pd.Series系列应用一种方法,这样我就可以获得每行降水量的数据。在一定数量的行之后,pcrp变量不再抓取任何内容。在尝试调试时,我注意到没有类型开始并不是一个一致的观点。

我尝试使用打印语句进行调试,但是我无法弄清为什么我的请求变成无。这是Series.weatherCode中的示例url看起来像“ https://www.almanac.com/weather/history/zipcode/60605/1988-09-04”。每个网址相同,但邮政编码和日期不同。

def getPrec(cell):


    page = requests.get(cell)
    soup = BeautifulSoup(page.content, 'html.parser')
    prcp = soup.find( class_='weatherhistory_results_datavalue prcp')
    data = prcp.find('td')
    nxt = data.find('p')
    if nxt.get_text() == 'No data.':

        cell = -999
    else:
        point = nxt.find(class_='value')
        #print('---->>>>>', point)#, point.get_text())
        cell = point.get_text()


    print(cell)
    return cell
prec= weatherCode.map(getPrec)
print(prec)

我希望输出是一个由降水量数据填充的序列,但是现在它在大约一百行后会吐出none类型错误。它适用于少量,但我只需要按比例放大。

0 个答案:

没有答案