Question

我试图改善大熊猫逐行日常水平衡模型的表现。输入数据集在每日时间步长上跨越33年，因此有大约12,000行。我已将此读入数据框“＆＃39; d＆＃39;其中每一天都是一行，所有变量都是列。这个相对较小的数据集的总运行时间约为2.5小时。

第一天的计算提供了模型的起始/边界条件，并使用切片将基本python if / then逻辑应用于row1（day1）。这些day1计算运行速度非常快，没有问题：

d[:1].apply(newsoilwaterupperL, axis=1)

示例day1数据字段：

ID  DATE    PRECIP  ET_WL   pP  kP  areaP   maxP    soilP   roWS    infilP  newsoilwatersoilwP
1   1/1/1982    0   1.872036235 0.41    0.00198425  18.01   8   12  0   0.07937 12

＆＃34;接下来的几天＆＃34;其余行（2到12,000）的计算（总共45个）使用numpy设置表达式 - 我需要这些表达式提供的逻辑能力，我认为使用np.where允许数据帧切片要被＆＃34;矢量化＆＃34;因此更快。一些但不是所有的每日变量都依赖于前一天的变量，所以我使用.shift（）来捕获前一天的值。这是一个可以复制和运行的例子 - 这是从今天发布的代码中修改的：

import pandas as pd
import numpy as np
import time
start_time = time.time()
d = pd.DataFrame(np.random.randn(1000,12), columns=['kP',    'newsoilwatersoilwP' ,'ponddepthP' ,'soilP', \
        'roWS', 'newsoilwaterP' ,'maxP' ,'PRECIP','ET_WL' ,'infilP' ,'areaP','pP'])

def nextday(row): #real code has 45 np.where calculations like these two
    #Infiltration, Pond
    d[1:].infilP = (24*np.multiply(d['kP'],   (np.add(d['newsoilwatersoilwP'].shift(), \
        d['ponddepthP'].shift())/d['soilP'])))[1:]

    #Soil Water, Pond
    d[1:].soilwaterP = np.where(d['roWS']+d['newsoilwaterP'].shift()+ (d['maxP'].shift() \
        +d['PRECIP']-d['ET_WL']-d['infilP'])*d['areaP'] <= 0, \
        #val
        0.0, \
        #elif
        np.where(d['roWS']+d['newsoilwaterP'].shift()+(d['maxP'].shift()+d['PRECIP'] \
        -d['ET_WL']-d['infilP'])*d['areaP']>= d['pP']*d['soilP']*d['areaP'], \
        #val
            d['pP']*d['soilP']*d['areaP'], \
        #else
        d['roWS']+d['newsoilwaterP'].shift()+(d['maxP'].shift()+d['PRECIP'] \
        -d['ET_WL']-d['infilP'])*d['areaP']))[1:]

#ends the series of Next Day functions
d.apply(nextday, axis=0)

print "END"
print("%f seconds" % (time.time() - start_time))

我的速度问题和瓶颈似乎是接下来几天的计算（第2天到12,000 x 45次计算），在第二天使用了多个np.where表达式＆＃39;功能

这是我第二天逐行迭代尝试的内容：

Iterrows而不是nextday函数，但这并没有获得任何性能

表示索引，d.iterrows（）行：
用于zip中的行（d.values）：

这就是我试图在下一天的循环中尝试加速的事情：

np.where表达式代替原始if / then逻辑。对于整个数据集来说，这肯定更快但速度仍然很慢。
numpy数学函数（np.multiply，np.add）代替python算法 - 这实际上确实有点帮助，但它不能全局应用于我的所有计算，我得到一些错误。我认为这是由于在某些情况下常量，系列和数据帧的形状不兼容。

我的问题和/或我已经阅读过的有关SO的内容但尚未明确如何申请：

将我的逻辑表达式转换为numpy而不是pandas - 我想我已经用np.where完成了这个但是我不清楚我能做多少。如果你不需要大熊猫的便利，人们会谈到这是改善绩效的重要来源。确定我是否可以在numpy中执行类似.shift（）的操作？
cython - 由于计算的逐行性质，不确定这是否真的有用
numba
观点与副本 - 我知道这应该有所作为，但我不知道如何分辨我使用np.where表达式

非常感谢任何反馈。

Answer 1

在没有预期输出的情况下解压包装有点困难，但您的功能已经过矢量化。例如如果您d['ET_WL']-d['infilP']在所有中减去d中的行，那么就没有任何理由通过申请来调用它。从本质上讲，你所做的是：

for _ in range(len(df.columns)):
    nextday(None)

因此，假设函数中的逻辑表达了您实际想要做的事情，您可以像这样重写，以便它是数据的函数：

def nextday(d): #real code has 45 np.where calculations like these two
    #Infiltration, Pond
    d[1:].infilP = (24*np.multiply(d['kP'],   (np.add(d['newsoilwatersoilwP'].shift(), \
        d['ponddepthP'].shift())/d['soilP'])))[1:]

    #Soil Water, Pond
    d[1:].soilwaterP = np.where(d['roWS']+d['newsoilwaterP'].shift()+ (d['maxP'].shift() \
        +d['PRECIP']-d['ET_WL']-d['infilP'])*d['areaP'] <= 0, \
        #val
        0.0, \
        #elif
        np.where(d['roWS']+d['newsoilwaterP'].shift()+(d['maxP'].shift()+d['PRECIP'] \
        -d['ET_WL']-d['infilP'])*d['areaP']>= d['pP']*d['soilP']*d['areaP'], \
        #val
            d['pP']*d['soilP']*d['areaP'], \
        #else
        d['roWS']+d['newsoilwaterP'].shift()+(d['maxP'].shift()+d['PRECIP'] \
        -d['ET_WL']-d['infilP'])*d['areaP']))[1:]
    return d

然后你将它称为：

new_d = nextday(d)

如果你的功能实际上是递归的（看起来不是这样的话，只取决于以前的值，那就是＆new;＆＃39; maxP＆＃39;等等？）然后{{ 1}}可以是一个简单的解决方案 - 基本上写一个形式的函数：

numba

numpy.where在pandas数据帧

1 个答案: