这是一个简单的例子,可以让数据生成变得简单,但总的来说这应该是一个适用于广大受众的问题。
我有一系列时间序列的测量结果:
In [1]: import pandas as pd
In [2]: index = pd.date_range(start="18:10",periods=20,freq='min')
In [3]: df = pd.DataFrame(randn(20,3),columns=list('abc'),index=index)
In [4]: df.head()
Out[4]:
a b c
2013-02-27 18:10:00 -1.344753 0.438351 1.561849
2013-02-27 18:11:00 1.715643 1.601984 -0.027408
2013-02-27 18:12:00 -0.142264 -0.049462 0.482493
2013-02-27 18:13:00 0.132617 0.737902 -0.347620
2013-02-27 18:14:00 1.277257 0.083401 0.649422
在“真实”测量之间,正在进行校准测量,但频率低于测量,例如,像这样的东西:
In [5]: calindex = pd.date_range("18:12:30",periods=4,freq='5min')
In [6]: caldata = pd.Series([10,20,30,40],index = calindex)
In [7]: caldata
Out[7]:
2013-02-27 18:12:30 10
2013-02-27 18:17:30 20
2013-02-27 18:22:30 30
2013-02-27 18:27:30 40
Freq: 5T
现在的一般想法是将这些校准数据应用于测量。 为此,我想通过“最接近时间”方法分发/广播校准数据,因此我想生成另一个名为“偏移”的列,例如 校准值测量的每一行与时间上最接近每个测量值的时间。
因此我追求这样的最终结果:
In [14]: df
Out[14]:
a b c offsets
2013-02-27 18:10:00 -1.344753 0.438351 1.561849 10
2013-02-27 18:11:00 1.715643 1.601984 -0.027408 10
2013-02-27 18:12:00 -0.142264 -0.049462 0.482493 10
2013-02-27 18:13:00 0.132617 0.737902 -0.347620 10
2013-02-27 18:14:00 1.277257 0.083401 0.649422 10
2013-02-27 18:15:00 0.048120 0.421220 0.149372 20
2013-02-27 18:16:00 0.812317 -1.517389 2.035487 20
2013-02-27 18:17:00 -0.058959 -0.034876 -1.535118 20
2013-02-27 18:18:00 -0.666227 0.040208 -1.042464 20
2013-02-27 18:19:00 -0.077031 -0.158351 -0.441992 20
2013-02-27 18:20:00 0.103083 -0.129341 0.294073 30
2013-02-27 18:21:00 0.900802 0.443271 -0.946229 30
2013-02-27 18:22:00 0.744631 -0.058666 -0.386226 30
2013-02-27 18:23:00 -0.064313 0.500321 -0.536237 30
2013-02-27 18:24:00 -0.392653 0.789827 0.000109 30
2013-02-27 18:25:00 1.926765 0.252259 -0.051475 40
2013-02-27 18:26:00 -0.035577 0.559222 -0.290751 40
2013-02-27 18:27:00 1.726165 0.626515 -0.868177 40
2013-02-27 18:28:00 1.269409 1.520980 -0.181637 40
2013-02-27 18:29:00 -1.151166 -0.300196 0.420747 40
通过.map,.apply等将值应用到其他列中。我相信很好理解,这是我需要做的分配值所需的时间或偏移技巧一个线索是什么开始。
它是否可能被pandas.DateOffsets攻击?是否有机器可以最大限度地减少大熊猫内部的时间增量?
我希望能够朝着正确的方向努力,不必完全完成,只需要我需要前进的方向。
答案 0 :(得分:3)
我使用numpy函数计算最近的时间位置:
from numpy.random import randn
import numpy as np
import pandas as pd
index = pd.date_range(start="18:10",periods=20,freq='min')
df = pd.DataFrame(randn(20,3),columns=list('abc'),index=index)
calindex = pd.date_range("18:12:30",periods=4,freq='5min')
caldata = pd.Series([10,20,30,40],index = calindex)
# if you use numpy 1.7
real_time = df.index.values
cali_time = caldata.index.values
# if you use numpy 1.6
real_time = np.array(df.index.values.view("i8") / 1000, dtype="datetime64[us]")
cali_time = np.array(caldata.index.values.view("i8") / 1000, dtype="datetime64[us]")
right_index = cali_time.searchsorted(real_time, side="left")
left_index = np.clip(right_index - 1, 0, len(caldata)-1)
right_index = np.clip(right_index, 0, len(caldata)-1)
left_time = cali_time[left_index]
right_time = cali_time[right_index]
left_diff = np.abs(left_time - real_time)
right_diff = np.abs(right_time - real_time)
caldata2 = caldata[np.where(left_diff < right_diff, left_time, right_time)]
df["offset"] = caldata2.values