Question

我有一个DataFrame，其中包含某个传感器处于活动状态的间隔：

                 start                 end
0  2018-06-01 08:55:10 2018-06-01 09:01:00
1  2018-06-01 09:02:20 2018-06-01 09:04:55
2  2018-06-01 09:11:35 2018-06-01 09:23:44

我想对此数据进行一些时间序列分析。为此，我想将此数据转换为每X分钟就有时间戳的适当时间序列。这是一个X = 5分钟的示例：

                 time active
0 2018-06-01 08:55:10      1
1 2018-06-01 09:00:10      1
2 2018-06-01 09:05:10      0
3 2018-06-01 09:10:10      1

如果传感器在间隔active == 1内处于活动状态，则可以将上面的内容读取为“ [t, t+X]”。

请注意，间隔并不总是不相交的。

此刻，我正在将间隔以DatetimeIndex分钟的频率转换为X。之后，我再次对系列进行重新采样（考虑到重叠间隔）：

indices = []
for _, row in df.iterrows():
    indices.append(pd.date_range(row['start'], row['end'], freq='5T'))
index = indices[0].append(indices[1:])
series = pd.Series(np.ones(len(index), dtype=bool), index=index)
series = series.resample('5T').max().fillna(0)

我的数据集大约有1500万个条目。上面的代码需要很长时间才能运行。我想让这个表现更出色。

有人有个好主意吗？

Answer 1

如果间隔不相交，并且对行进行了排序（假设一个传感器和顺序数据），如您的示例一样，您可以执行简单的循环并逐行检查。

示例：

数据框：

import pandas as pd
import numpy as np

# Create your dataframe
x = np.array([
    ['2018-06-01 08:55:10', '2018-06-01 09:01:00'],
    ['2018-06-01 09:02:20', '2018-06-01 09:04:55'],
    ['2018-06-01 09:11:35', '2018-06-01 09:23:44']
    ])

df = pd.DataFrame(x, columns=['start', 'end'])
df['start'] = pd.to_datetime(df['start'])
df['end'] = pd.to_datetime(df['end'])
print(df)

生成结果的代码：

     start                 end
0 2018-06-01 08:55:10 2018-06-01 09:01:00
1 2018-06-01 09:02:20 2018-06-01 09:04:55
2 2018-06-01 09:11:35 2018-06-01 09:23:44

结果：

results = []
interval = pd.Timedelta('5 minutes') # interval X
start = pd.to_datetime('2018-06-01 08:55:10')

time = start
# iterate each sensor interval
# must be sorted by time, and no intervals should overlap
for (i, row) in df.iterrows():
    # go to the next interval when time is after current interval
    while time < row['end']:
        if time >= row['start']:
            results.append([time, 1])
        else:
            results.append([time, 0])
        time += interval

result_df = pd.DataFrame(results, columns=['time', 'active'])
result_df['time'] = pd.to_datetime(result_df['time'])
print(result_df)

1500万行需要几秒钟。

将时间间隔转换为日期时间

1 个答案: