Question

我有一个带有日期时间索引和3列（a，b，c）的pandas数据框（大约500,000行）：

                           a       b        c
2016-03-30 09:59:36.619    0       55       0
2016-03-30 09:59:41.979    0       20       0
2016-03-30 09:59:41.986    0       1        0
2016-03-30 09:59:45.853    0       1        3
2016-03-30 09:59:51.265    0       20       9
2016-03-30 10:00:03.273    0       55       26
2016-03-30 10:00:05.658    0       55       28
2016-03-30 10:00:17.416    0       156      0
2016-03-30 10:00:17.928    0       122      1073
2016-03-30 10:00:21.933    0       122      0
2016-03-30 10:00:31.937    0       122      10
2016-03-30 10:00:40.941    0       122      0
2016-03-30 10:00:51.147    10      2        0
2016-03-30 10:01:27.060    0       156      0

我想在10分钟的滚动窗口内搜索，并从其中一列（b列）中删除重复的项目，以获得类似的内容：

                           a       b        c
2016-03-30 09:59:36.619    0       55       0
2016-03-30 09:59:41.979    0       20       0
2016-03-30 09:59:41.986    0       1        0
2016-03-30 09:59:51.265    0       20       9
2016-03-30 10:00:03.273    0       55       26
2016-03-30 10:00:17.416    0       156      0
2016-03-30 10:00:17.928    0       122      1073
2016-03-30 10:00:51.147    10      2        0
2016-03-30 10:01:27.060    0       156      0

将drop_duplicates与rolling_apply结合使用可以想到，但这两个功能并不能很好地协同发挥，即：

pd.rolling_apply(df, '10T', lambda x:x.drop_duplicates(subset='b'))

引发错误，因为函数必须返回一个值，而不是df。所以这就是我到目前为止所做的：

import datetime as dt
windows = []
for ind in range(len(df)):
    t0 = df.index[ind]
    t1 = df.index[ind]+dt.timedelta(minutes=10)

    windows.append(df[numpy.logical_and(t0<df.index,\
    df.index<=t1)].drop_duplicates(subset='b'))

在这里，我最终得到了一个10分钟数据帧的列表，删除了重复项，但是当窗口滚动到下一个10分钟段时，会有很多重叠值。为了保持独特的价值观，我尝试过类似的事情：

new_df = []
for ind in range(len(windows)-1):
    new_df.append(pd.unique(pd.concat([pd.Series(windows[ind].index),\
    pd.Series(windows[ind+1].index)])))

但这不起作用，而且它已经开始变得混乱了。有没有人有任何明智的想法如何尽可能有效地解决这个问题？

提前致谢。

Answer 1

我希望这很有用。我滚动一个函数，检查最后一个值是否与10分钟窗口中的早期元素重复。结果可以与布尔索引一起使用。

# Simple example
dates = pd.date_range('2017-01-01', periods = 5, freq = '4min')
col1 = [1, 2, 1, 3, 2]
df = pd.DataFrame({'col1':col1}, index = dates)

# Make function that checks if last element is a duplicate
def last_is_duplicate(a):
    if len(a) > 1:
        return a[-1] in a[:len(a)-1]
    else: 
        return False    

# Roll over 10 minute window to find duplicates of recent elements
dup = df.col1.rolling('10T').apply(last_is_duplicate).astype('bool')

# Keep only those rows for which col1 is not a recent duplicate
df[~dup]

Python pandas drop_duplicates带有滚动窗口

1 个答案: