Question

我有一些Particulate Matter传感器和CSV，时间序列如下：

传感器A：

name = raw_input("Enter a name")

for i in range(0, len(name)):
    a = name[len(name)-1-i]
    print(a)

我将日期设为索引：

                     date           value
date                                     
2017-11-30 00:00:00  30/11/17 0.00     49
2017-11-30 00:02:00  30/11/17 0.02     51
2017-11-30 00:03:00  30/11/17 0.03     54
2017-11-30 00:05:00  30/11/17 0.05     57
2017-11-30 00:07:00  30/11/17 0.07     53
2017-11-30 00:08:00  30/11/17 0.08     55
2017-11-30 00:10:00  30/11/17 0.10     55
2017-11-30 00:12:00  30/11/17 0.12     58
2017-11-30 00:13:00  30/11/17 0.13     57
2017-11-30 00:15:00  30/11/17 0.15     58
....
2018-02-06 09:30:00    6/2/18 9.30     33
2018-02-06 09:32:00    6/2/18 9.32     31
2018-02-06 09:33:00    6/2/18 9.33     34
2018-02-06 09:35:00    6/2/18 9.35     32
2018-02-06 09:37:00    6/2/18 9.37     33
2018-02-06 09:38:00    6/2/18 9.38     30

我想在相似的时间窗口中关联同一传感器和不同传感器的数据之间的不同时间窗口。我希望知道在一天中的某些部分是否有相同的增加/减少行为。设置“日期索引”后，我能够从传感器A每天早上9点到早上10点得到“所有PM值”

df.index = pd.to_datetime(df['date'], format='%d/%m/%y %H.%M')

1）问题1：如何检查来自同一传感器但不同日期的相关性：我在两个DataFrame中从两天过滤了数据9 / 10am，但并不总是将它们完全相同分钟。我可能会遇到这样的情况：

df.between_time('9:00','10:00')

我应该重命名数据列吗？我实际上关心的是，01/01/2018的第三个值将与第二个窗口的第三个值相关联。

01-01-2018 (df01 - I removed data column)
2018-01-01 09:05:00     11
2018-01-01 09:07:00     11
2018-01-01 09:09:00     10
....


02-01-2018 (df02)
2018-02-01 09:05:00     67
2018-02-01 09:07:00     68
2018-02-01 09:08:00     67
....

返回

df01.corr(df02)

2）问题2：不同传感器之间的关联在这种情况下，我有2个CVS文件，其PM值来自两个传感器。问题1我想关联他们的相同时间窗口。即使在这种情况下，我预计数据之间会有一些“休闲滞后”，但是几分钟之间的误差很好，我想只检查“正确位置”的值。例如：

ValueError: The truth value of a DataFrame is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all()

提前谢谢

Answer 1

我会尝试一起解决你的两个问题。这看起来像pd.merge_asof()的作业，它在最近匹配的键上合并，而不是仅在精确键上合并。

示例数据

df1
date            value
30/11/17 0.00   51
30/11/17 0.02   53
30/11/17 0.05   65
30/11/17 0.08   58

df2
date            value
30/11/17 0.01   61
30/11/17 0.02   63
30/11/17 0.04   65
30/11/17 0.07   68

预处理

df1.date = pd.to_datetime(df1.date, format='%d/%m/%y %H.%M')
df2.date = pd.to_datetime(df2.date, format='%d/%m/%y %H.%M')
df1.set_index('date', inplace=True)
df2.set_index('date', inplace=True)

df1
                     value
date
2017-11-30 00:00:00     51
2017-11-30 00:02:00     53
2017-11-30 00:05:00     65
2017-11-30 00:08:00     58

df2
                     value
date
2017-11-30 00:01:00     61
2017-11-30 00:02:00     63
2017-11-30 00:04:00     65
2017-11-30 00:07:00     68

在最近的索引匹配

上合并DataFrame

merged = pd.merge_asof(df1, df2, left_index=True, right_index=True, direction='nearest')
merged
                         value_x  value_y
date
2017-11-30 00:00:00       51       61
2017-11-30 00:02:00       53       63
2017-11-30 00:05:00       65       65
2017-11-30 00:08:00       58       68

注释

pd.merge_asof的上述用法保留了df1的索引; df1中的每一行都会在df2，中使用替换获得最接近的匹配，因此如果df2的行数少于df1，则结果为merge_asof将包含来自df2的重复值。结果将与df1具有相同的行数。

您提到您实际上只关心按相对位置比较行，例如，将df1的第3个值与df2的第3个值进行比较。您可以简单地忽略时间索引，而不是使用merge_asof，只需使用它来获取感兴趣的时间段，并使用df.values访问基础numpy数组：

# Get a 2D array of shape (4, 1)
df1.values
array([[51],
       [53],
       [65],
       [58]])

# Get a 1D array of shape (4,)
df1.values.flatten()
array([51, 53, 65, 58])

# numpy correlation matrix
pd.np.corrcoef(df1.values.flatten(), df2.values.flatten())
array([[1.        , 0.61287265],
       [0.61287265, 1.        ]])

与熊猫的时间序列相关性

1 个答案:

示例数据

预处理

在最近的索引匹配

相关性

注释