我试图改善大熊猫逐行日常水平衡模型的表现。输入数据集在每日时间步长上跨越33年,因此有大约12,000行。我已将此读入数据框“' d'其中每一天都是一行,所有变量都是列。这个相对较小的数据集的总运行时间约为2.5小时。
第一天的计算提供了模型的起始/边界条件,并使用切片将基本python if / then逻辑应用于row1(day1)。这些day1计算运行速度非常快,没有问题:
d[:1].apply(newsoilwaterupperL, axis=1)
示例day1数据字段:
ID DATE PRECIP ET_WL pP kP areaP maxP soilP roWS infilP newsoilwatersoilwP
1 1/1/1982 0 1.872036235 0.41 0.00198425 18.01 8 12 0 0.07937 12
"接下来的几天"其余行(2到12,000)的计算(总共45个)使用numpy设置表达式 - 我需要这些表达式提供的逻辑能力,我认为使用np.where允许数据帧切片要被"矢量化"因此更快。一些但不是所有的每日变量都依赖于前一天的变量,所以我使用.shift()来捕获前一天的值。这是一个可以复制和运行的例子 - 这是从今天发布的代码中修改的:
import pandas as pd
import numpy as np
import time
start_time = time.time()
d = pd.DataFrame(np.random.randn(1000,12), columns=['kP', 'newsoilwatersoilwP' ,'ponddepthP' ,'soilP', \
'roWS', 'newsoilwaterP' ,'maxP' ,'PRECIP','ET_WL' ,'infilP' ,'areaP','pP'])
def nextday(row): #real code has 45 np.where calculations like these two
#Infiltration, Pond
d[1:].infilP = (24*np.multiply(d['kP'], (np.add(d['newsoilwatersoilwP'].shift(), \
d['ponddepthP'].shift())/d['soilP'])))[1:]
#Soil Water, Pond
d[1:].soilwaterP = np.where(d['roWS']+d['newsoilwaterP'].shift()+ (d['maxP'].shift() \
+d['PRECIP']-d['ET_WL']-d['infilP'])*d['areaP'] <= 0, \
#val
0.0, \
#elif
np.where(d['roWS']+d['newsoilwaterP'].shift()+(d['maxP'].shift()+d['PRECIP'] \
-d['ET_WL']-d['infilP'])*d['areaP']>= d['pP']*d['soilP']*d['areaP'], \
#val
d['pP']*d['soilP']*d['areaP'], \
#else
d['roWS']+d['newsoilwaterP'].shift()+(d['maxP'].shift()+d['PRECIP'] \
-d['ET_WL']-d['infilP'])*d['areaP']))[1:]
#ends the series of Next Day functions
d.apply(nextday, axis=0)
print "END"
print("%f seconds" % (time.time() - start_time))
我的速度问题和瓶颈似乎是接下来几天的计算(第2天到12,000 x 45次计算),在第二天使用了多个np.where表达式&#39;功能
这是我第二天逐行迭代尝试的内容:
Iterrows而不是nextday函数,但这并没有获得任何性能
表示索引,d.iterrows()行:
这就是我试图在下一天的循环中尝试加速的事情:
我的问题和/或我已经阅读过的有关SO的内容但尚未明确如何申请:
非常感谢任何反馈。
答案 0 :(得分:1)
在没有预期输出的情况下解压包装有点困难,但您的功能已经过矢量化。例如如果您d['ET_WL']-d['infilP']
在所有中减去d
中的行,那么就没有任何理由通过申请来调用它。从本质上讲,你所做的是:
for _ in range(len(df.columns)):
nextday(None)
因此,假设函数中的逻辑表达了您实际想要做的事情,您可以像这样重写,以便它是数据的函数:
def nextday(d): #real code has 45 np.where calculations like these two
#Infiltration, Pond
d[1:].infilP = (24*np.multiply(d['kP'], (np.add(d['newsoilwatersoilwP'].shift(), \
d['ponddepthP'].shift())/d['soilP'])))[1:]
#Soil Water, Pond
d[1:].soilwaterP = np.where(d['roWS']+d['newsoilwaterP'].shift()+ (d['maxP'].shift() \
+d['PRECIP']-d['ET_WL']-d['infilP'])*d['areaP'] <= 0, \
#val
0.0, \
#elif
np.where(d['roWS']+d['newsoilwaterP'].shift()+(d['maxP'].shift()+d['PRECIP'] \
-d['ET_WL']-d['infilP'])*d['areaP']>= d['pP']*d['soilP']*d['areaP'], \
#val
d['pP']*d['soilP']*d['areaP'], \
#else
d['roWS']+d['newsoilwaterP'].shift()+(d['maxP'].shift()+d['PRECIP'] \
-d['ET_WL']-d['infilP'])*d['areaP']))[1:]
return d
然后你将它称为:
new_d = nextday(d)
如果你的功能实际上是递归的(看起来不是这样的话,只取决于以前的值,那就是&new;&#39; maxP&#39;等等?)然后{{ 1}}可以是一个简单的解决方案 - 基本上写一个形式的函数:
numba