Question

我有一个大的时间序列数据帧，在不同的列中包含数字和布尔数据。我试图将数据从1分钟间隔缩减到15分钟间隔。布尔列是系统状态，我正在努力如何对它们进行下采样并仍然保留任何故障。目前，我的重新采样使用last，因此会忽略除了最后一行之外的任何行上发生的任何系统故障。

我希望它做什么：如果＆＃39;错误＆＃39;在15分钟系列期间的任何行上都会出现，然后重新采样后得到的时间戳将显示“故障”。否则会读“好”。

我知道解决方案位于重新采样的how=''，但因为我是numpy和pandas的新手，所以我无法弄清楚要使用什么。

我的代码：

import pandas as pd

# Reads .csv, combines Date and Time columns into Timestamp, sets Timestamp as index
df = pd.read_csv('data.csv', parse_dates = {'Timestamp' : ['Date', 'Time']}, index_col = 'Timestamp')

# Fixing any incomplete data and interpolating any numerical gaps 
index = pd.date_range(freq='1min', start=df.first_valid_index(), end=df.last_valid_index())
df_clean = df.reindex(set(df.index).union(index))
for col in df_clean:
    df_clean[col] = df_clean[col].interpolate('time').ix[index]

# Downsampling numerical data 
df_avg = df_clean.resample('15min', how='mean')

# Downsampling boolean data separately 
df_avg['alarm1']=df_clean['alarm1'].resample('15min', how='last')

# Fix for missing index name
df_avg.index.name = 'Timestamp'

# Adding date and time columns back to dataframe
df_avg.reset_index(level=0, inplace=True)
df_avg['Date'] = df_avg['Timestamp'].apply(lambda x: x.strftime('%Y/%m/%d'))
df_avg['Time'] = df_avg['Timestamp'].apply(lambda x: x.strftime('%H:%M:%S'))

# Write new .csv 
df_avg[['Date','Time','A','B','C','alarm1']].to_csv('out.csv', index=False)

Answer 1

docstring说how应该是一个字符串，但实际上它也可以是一个可调用的。

如果＆＃39;闹1＆＃39; column是布尔值，您可以使用how=any（或how=np.any）。 any逻辑上or每个时间段中的值，因此如果bin中的任何值为True，则下采样系列中的值将为True。

以下是一个例子。

首先，设置随机种子并创建一系列布尔值。

In [101]: np.random.seed(123456)

In [102]: rng = pd.date_range('1/1/2011', periods=25, freq='1min')

In [103]: ts = pd.Series(np.random.rand(len(rng)) > 0.85, index=rng)

In [104]: ts
Out[104]: 
2011-01-01 00:00:00    False
2011-01-01 00:01:00     True
2011-01-01 00:02:00    False
2011-01-01 00:03:00     True
2011-01-01 00:04:00    False
2011-01-01 00:05:00    False
2011-01-01 00:06:00    False
2011-01-01 00:07:00    False
2011-01-01 00:08:00    False
2011-01-01 00:09:00    False
2011-01-01 00:10:00    False
2011-01-01 00:11:00    False
2011-01-01 00:12:00    False
2011-01-01 00:13:00     True
2011-01-01 00:14:00    False
2011-01-01 00:15:00    False
2011-01-01 00:16:00    False
2011-01-01 00:17:00    False
2011-01-01 00:18:00    False
2011-01-01 00:19:00    False
2011-01-01 00:20:00     True
2011-01-01 00:21:00    False
2011-01-01 00:22:00    False
2011-01-01 00:23:00    False
2011-01-01 00:24:00    False
Freq: T, dtype: bool

使用resample转换为5分钟的频率。使用how=np.any逻辑or时间段中的值。

In [105]: ds = ts.resample('5min', how=np.any)

In [106]: ds
Out[106]: 
2011-01-01 00:00:00     True
2011-01-01 00:05:00    False
2011-01-01 00:10:00     True
2011-01-01 00:15:00    False
2011-01-01 00:20:00     True
Freq: 5T, dtype: bool

您还可以对这些值求和，这将为您提供每个时间段中的警报数：

In [107]: ts.resample('5min', how=sum)
Out[107]: 
2011-01-01 00:00:00    2
2011-01-01 00:05:00    0
2011-01-01 00:10:00    1
2011-01-01 00:15:00    0
2011-01-01 00:20:00    1
Freq: 5T, dtype: float64

更新

如评论中所述，如果alarm1列包含字符串'YES'和'NO'，则有几种方法可以处理它。例如，您可以简单地将值转换为布尔值（例如tsbool = ts == 'YES'）并使用上述技术。

或者，您可以编写自定义聚合函数，例如

def func(faults):
    return 'YES' if np.any(faults == 'YES') else 'NO'

并将其作为how的{{1}}参数。这是一个例子。

首先，创建一个包含字符串的系列＆＃39; YES＆＃39;并且没有＆＃39;

resample

定义减少＆＃39; YES＆＃39;数组的函数。并且没有＆＃39;字符串到单个字符串。

In [60]: rng = pd.date_range('1/1/2011', periods=25, freq='1min')

In [61]: yn = np.array(['NO', 'YES'])

In [62]: ts = pd.Series(yn[(np.random.rand(len(rng)) > 0.85).astype(int)], index=rng)

In [63]: ts
Out[63]: 
2011-01-01 00:00:00     NO
2011-01-01 00:01:00     NO
2011-01-01 00:02:00     NO
2011-01-01 00:03:00     NO
2011-01-01 00:04:00    YES
2011-01-01 00:05:00    YES
2011-01-01 00:06:00     NO
2011-01-01 00:07:00    YES
2011-01-01 00:08:00     NO
2011-01-01 00:09:00     NO
2011-01-01 00:10:00     NO
2011-01-01 00:11:00     NO
2011-01-01 00:12:00     NO
2011-01-01 00:13:00     NO
2011-01-01 00:14:00     NO
2011-01-01 00:15:00     NO
2011-01-01 00:16:00    YES
2011-01-01 00:17:00     NO
2011-01-01 00:18:00     NO
2011-01-01 00:19:00     NO
2011-01-01 00:20:00     NO
2011-01-01 00:21:00     NO
2011-01-01 00:22:00     NO
2011-01-01 00:23:00     NO
2011-01-01 00:24:00     NO
Freq: T, dtype: object

使用该功能重新取样In [64]: def func(alarms): ....: return 'YES' if np.any(alarms == 'YES') else 'NO' ....:。

ts

缩小包含带重新采样的布尔数据的系列

1 个答案: