Question

这是一个简单的例子，可以让数据生成变得简单，但总的来说这应该是一个适用于广大受众的问题。

我有一系列时间序列的测量结果：

In [1]: import pandas as pd

In [2]: index = pd.date_range(start="18:10",periods=20,freq='min')

In [3]: df = pd.DataFrame(randn(20,3),columns=list('abc'),index=index)

In [4]: df.head()
Out[4]: 
                            a         b         c
2013-02-27 18:10:00 -1.344753  0.438351  1.561849
2013-02-27 18:11:00  1.715643  1.601984 -0.027408
2013-02-27 18:12:00 -0.142264 -0.049462  0.482493
2013-02-27 18:13:00  0.132617  0.737902 -0.347620
2013-02-27 18:14:00  1.277257  0.083401  0.649422

在“真实”测量之间，正在进行校准测量，但频率低于测量，例如，像这样的东西：

In [5]: calindex = pd.date_range("18:12:30",periods=4,freq='5min')

In [6]: caldata = pd.Series([10,20,30,40],index = calindex)

In [7]: caldata
Out[7]: 
2013-02-27 18:12:30    10
2013-02-27 18:17:30    20
2013-02-27 18:22:30    30
2013-02-27 18:27:30    40
Freq: 5T

现在的一般想法是将这些校准数据应用于测量。为此，我想通过“最接近时间”方法分发/广播校准数据，因此我想生成另一个名为“偏移”的列，例如校准值测量的每一行与时间上最接近每个测量值的时间。

因此我追求这样的最终结果：

In [14]: df
Out[14]: 
                            a         b         c  offsets
2013-02-27 18:10:00 -1.344753  0.438351  1.561849       10
2013-02-27 18:11:00  1.715643  1.601984 -0.027408       10
2013-02-27 18:12:00 -0.142264 -0.049462  0.482493       10
2013-02-27 18:13:00  0.132617  0.737902 -0.347620       10
2013-02-27 18:14:00  1.277257  0.083401  0.649422       10
2013-02-27 18:15:00  0.048120  0.421220  0.149372       20
2013-02-27 18:16:00  0.812317 -1.517389  2.035487       20
2013-02-27 18:17:00 -0.058959 -0.034876 -1.535118       20
2013-02-27 18:18:00 -0.666227  0.040208 -1.042464       20
2013-02-27 18:19:00 -0.077031 -0.158351 -0.441992       20
2013-02-27 18:20:00  0.103083 -0.129341  0.294073       30
2013-02-27 18:21:00  0.900802  0.443271 -0.946229       30
2013-02-27 18:22:00  0.744631 -0.058666 -0.386226       30
2013-02-27 18:23:00 -0.064313  0.500321 -0.536237       30
2013-02-27 18:24:00 -0.392653  0.789827  0.000109       30
2013-02-27 18:25:00  1.926765  0.252259 -0.051475       40
2013-02-27 18:26:00 -0.035577  0.559222 -0.290751       40
2013-02-27 18:27:00  1.726165  0.626515 -0.868177       40
2013-02-27 18:28:00  1.269409  1.520980 -0.181637       40
2013-02-27 18:29:00 -1.151166 -0.300196  0.420747       40

通过.map，.apply等将值应用到其他列中。我相信很好理解，这是我需要做的分配值所需的时间或偏移技巧一个线索是什么开始。

它是否可能被pandas.DateOffsets攻击？是否有机器可以最大限度地减少大熊猫内部的时间增量？

我希望能够朝着正确的方向努力，不必完全完成，只需要我需要前进的方向。

Answer 1

我使用numpy函数计算最近的时间位置：

from numpy.random import randn
import numpy as np
import pandas as pd

index = pd.date_range(start="18:10",periods=20,freq='min')
df = pd.DataFrame(randn(20,3),columns=list('abc'),index=index)
calindex = pd.date_range("18:12:30",periods=4,freq='5min')
caldata = pd.Series([10,20,30,40],index = calindex)

# if you use numpy 1.7
real_time = df.index.values
cali_time = caldata.index.values

# if you use numpy 1.6
real_time = np.array(df.index.values.view("i8") / 1000, dtype="datetime64[us]")
cali_time = np.array(caldata.index.values.view("i8") / 1000, dtype="datetime64[us]")

right_index = cali_time.searchsorted(real_time, side="left")
left_index = np.clip(right_index - 1, 0, len(caldata)-1)
right_index = np.clip(right_index, 0, len(caldata)-1)
left_time = cali_time[left_index]
right_time = cali_time[right_index]
left_diff = np.abs(left_time - real_time)
right_diff = np.abs(right_time - real_time)
caldata2 = caldata[np.where(left_diff < right_diff, left_time, right_time)]
df["offset"] = caldata2.values

将一个时间序列的数据分发到另一个

1 个答案: