Question

我有一些问题，数据按日期排序，例如：

date,       value,      min
2015-08-17,    3,        nan
2015-08-18,    2,        nan
2015-08-19,    4,        nan
2015-08-28,    1,        nan
2015-08-29,    5,        nan

现在我要将min列中的min值保存到此行，因此结果将如下所示：

date,       value,      min
2015-08-17,    3,        3
2015-08-18,    2,        2
2015-08-19,    4,        2
2015-08-28,    1,        1
2015-08-29,    5,        1

我已经尝试了一些选项，但仍然没有得到我做错的事情，这是我尝试过的一个例子：

data['min'] = min(data['value'], data['min'].shift())

我不想遍历所有行，因为我拥有的数据很大。对于这类问题，您可以使用熊猫编写的最佳策略是什么？

Answer 1

使用cummin()方法：

In [53]: df['min'] = df.value.cummin()

In [54]: df
Out[54]:
         date  value  min
0  2015-08-17      3    3
1  2015-08-18      2    2
2  2015-08-19      4    2
3  2015-08-28      1    1
4  2015-08-29      5    1

Answer 2

既然你提到你正在使用大数据集，关注性能，这里有一个使用NumPy的np.minimum.accumulate -

df['min'] = np.minimum.accumulate(df.value)

示例运行 -

In [70]: df
Out[70]: 
         date  value  min
0  2015-08-17      3  NaN
1  2015-08-18      2  NaN
2  2015-08-19      4  NaN
3  2015-08-28      1  NaN
4  2015-08-29      5  NaN

In [71]: df['min'] = np.minimum.accumulate(df.value)

In [72]: df
Out[72]: 
         date  value  min
0  2015-08-17      3    3
1  2015-08-18      2    2
2  2015-08-19      4    2
3  2015-08-28      1    1
4  2015-08-29      5    1

运行时测试 -

In [65]: df = pd.DataFrame(np.random.randint(0,100,(1000000)), columns=list(['value']))

# @MaxU's soln using pandas cummin
In [66]: %timeit df['min'] = df.value.cummin()
100 loops, best of 3: 6.84 ms per loop

In [67]: df = pd.DataFrame(np.random.randint(0,100,(1000000)), columns=list(['value']))

# Using NumPy
In [68]: %timeit df['min'] = np.minimum.accumulate(df.value)
100 loops, best of 3: 3.97 ms per loop

最小值直到排大熊猫

2 个答案: