我想要一些有关如何优化以下熊猫计算的反馈：
我们有一个固定的索引集I和一个lookback。此外，我们还有一个pd.Series系列index，其回溯中值index_MEDIAN和大量的熊猫数据帧。所有系列/数据框均以I作为索引。每个数据框都有列value。假设D是一个这样的数据帧。
对于D的每一行，我们取m中的相应值index_MEDIAN并加总回溯窗口中存在的所有值条目，但前提是{ {1}}系列大于index。换句话说，只要Index值大于回溯的中位数，我们就会将m中的相应值行相加。
为了阐明更多信息，下面是上述实现的示意图
D数据帧的列表非常庞大，我注意到这种计算此数量的方法会花费大量时间。我怀疑问题与该实现大量使用 def sumvals(x)
S = (D['value'].loc[x.index] >= self.index_median.loc[x.index[-1]])
return sum(S*(x-self.index_median.loc[x.index[-1]]))
D['value'].rolling(lookback).apply(sumvals)
的事实有关。因此
是否有另一种表达这种解决方案的方法而不必太多参考外部系列？
无论哪种方式，欢迎任何形式的优化建议。
编辑。这是带有相应计算的示例数据集。
.loc对 Values 进行的计算应得出
lookback = 3
Index = pd.Series([1,-2,8,-10,3,4,5, 10, -20, 3])
Index_median = Index.rolling(lookback).median
Values = pd.Series([1,2,2,3,0,9,10, 8, 20, 9])
例如，第5行的值为6。为什么？第5行的Index_median值为3。第5行的3-lookback是序列9，0、3。> =的值是3和9，因此它构成了第5行的和3-3 + 9- 3 =6。同样，对于最后一行，索引中位数为3。“值”中的最后三行均大于3，总和为34-3 * 3 = 28。
答案 0 :(得分：2)
def sumvals(x)
m = self.index_median.loc[x.index[-1]]
condition = (x.index >= m)
return sum(x[condition]-m)
D['value'].rolling(lookback).apply(sumvals)
当我们对回溯窗口中存在的所有值条目求和时，无需将它们与self.index进行比较。此外，从您的描述中，如果您的D取值行，那么您可以
return sum(x[condition])
。
另一个解决方案是，您可以将整个操作转换为numpy，以加快滚动操作。 为此签出numpy_ext包
答案 1 :(得分：2)
.loc很慢，应用很慢。 在我看来，您可以通过对列使用矢量化函数和操作来实现所需的功能，而无需逐行应用和查找位置。
如果没有@Manakin建议的真实数据示例，很难说出来。 但是我尝试用示例重新创建您的问题，并根据您的描述解决它。
# lookback window
lookback = 3
# Fixed Index
I = [5, 2, 1, 4, 2, 4, 1, 2, 1, 10]
# Dataframe with value column, Index added as column for convenience
df = pd.DataFrame({'I': I,
'value':[6,5,4,3,2,1, 2, 3, 4, 5]},
index=I)
# Median over lookback window
df['I_median'] = df.I.rolling(lookback).median()
收益
| | I | value | I_median
|----|-------|----------|----------|
| 5 | 5 | 6 | NaN |
| 2 | 2 | 5 | NaN |
| 1 | 1 | 4 | 2.0 |
| 4 | 4 | 3 | 2.0 |
| 2 | 2 | 2 | 2.0 |
| 4 | 4 | 1 | 4.0 |
| 1 | 1 | 2 | 2.0 |
| 2 | 2 | 3 | 2.0 |
| 1 | 1 | 4 | 1.0 |
| 10 | 10 | 5 | 2.0 |
# Check if Index is greater than median
df['I_gt'] = df.I > df.I_median
# set all rows to 0 where median is greater than index
df['filtered_val'] = df.value.where(df.I_gt, 0)
| | I | value | I_median | I_gt | filtered_val |
|----|----|-------|----------|-------|--------------|
| 5 | 5 | 6 | NaN | False | 0 |
| 2 | 2 | 5 | NaN | False | 0 |
| 1 | 1 | 4 | 2.0 | False | 0 |
| 4 | 4 | 3 | 2.0 | True | 3 |
| 2 | 2 | 2 | 2.0 | False | 0 |
| 4 | 4 | 1 | 4.0 | False | 0 |
| 1 | 1 | 2 | 2.0 | False | 0 |
| 2 | 2 | 3 | 2.0 | False | 0 |
| 1 | 1 | 4 | 1.0 | False | 0 |
| 10 | 10 | 5 | 2.0 | True | 5 |
然后只需对过滤后的列进行滚动总和。
df.filtered_val.rolling(lookback).sum()
答案 2 :(得分：2)
从示例数据开始：
df = pd.DataFrame()
df['I'] = pd.Series([1,-2,8,-10,3,4,5, 10, -20, 3])
df['I_median'] = df['I'].rolling(lookback).median()
df['Values'] = pd.Series([1,2,2,3,0,9,10, 8, 20, 9])
现在为“值”列添加移位列
# add one column for every lookback
for colno in range(lookback):
# shift the column by one and deduct the median
df['n'+ str(colno)] = df['Values'].shift(colno) - df['I_median']
# remove all negative numbers (where value is smaller than median)
df['n'+ str(colno)] = df['n'+ str(colno)].where(df['n'+ str(colno)]> 0, 0)
# sum up across the new columns
df['result'] = df[df.columns[-lookback:]].sum(axis=1)
df.result包含结果并等于
0 0.0
1 0.0
2 2.0
3 13.0
4 0.0
5 6.0
6 11.0
7 12.0
8 23.0
9 28.0
Name: result, dtype: float64
df['result'] = 0
for colno in range(lookback):
# shift the column by one and deduct the median
df['temp'] = df['Values'].shift(colno) - df['I_median']
# remove all negative numbers (where value is smaller than median)
df['temp'] = df['temp'].where(df['temp']> 0, 0)
# sum up across the new columns
df['result'] = df['result'] + df['temp']
lookback = 1000
df = pd.DataFrame()
df['I'] = pd.Series(np.random.randint(0, 10, size=1000000))
df['I_median'] = df['I'].rolling(lookback).median()
df['Values'] = pd.Series(np.random.randint(0, 10, size=1000000))
运行大约14秒。