我有一个pandas数据框,其中每列代表从1到0的降序行的y值,索引代表x值。现在我有兴趣找到这些线和给定常数之间的交点(线性插值)。
所需输出的示例:
>>> df = pd.DataFrame({'y1': [1, .7, .4, .1, 0],
'y2': [1, .9, .7, .3, 0],
'y3': [1, .6, .3, .2, 0],
'y4': [1, .7, .5, .3, 0]}, index=[0, 10, 20, 30, 40])
>>> xs = get_intersection(df, .5)
>>> xs
{'x1': 16.6667, # = scipy.interpolate.interp1d([.7, .4], [10, 20])(.5)
'x2': 25.0, # = interp1d([.7, .3], [20, 30])(.5)
'x3': 13.3332, # = interp1d([.6, .3], [10, 20])(.5)
'x4': 20} # No interpolation required
我的数据包含大约400行和50.000列。
可能的解决方案:
我发现this SO answer使用以下方法找到两行之间的交点:
idx = np.argwhere(np.diff(np.sign(f - g)) != 0).reshape(-1) + 0
我认为可以调整以适应我的数据框架,但我不确定如何从这里开始:
>>> idx = np.argwhere(np.diff(np.sign(df - .5), axis=0) != 0)
>>> idx
array([[1, 0],
[1, 2],
[1, 3],
[2, 1],
[2, 3]], dtype=int64)
由于人们似乎误解了这个问题,我有兴趣找到这些观点:
可以通过线性插值两个最近点来找到。
解决方案: B. M.给了我正确方向的一步:
def get_intersection(df, c):
dfind = len(df) - df.loc[::-1].apply(np.searchsorted, args=(c,), raw=True)
result = {}
for i, v in enumerate(dfind):
result[df.columns.values[i]] = interp1d([df.iloc[v][i], df.iloc[v - 1][i]], [df.index[v], df.index[v - 1]])(.5)
return result
>>> get_intersection(df, .5)
{'y1': array(16.666666666666668), 'y2': array(25.0), 'y3': array(13.333333333333332), 'y4': array(20.0)}
答案 0 :(得分:1)
因为您需要1D功能(interp1d),所以循环与pandas功能一样清晰,易于阅读和速度。使用np.searchsorted来找到好的段:
d = dict()
ind=df.index.values
for k,v in df.iteritems():
y=v.values
i=len(y)-np.searchsorted(y[::-1],0.5) #indices
sl = slice(i-1,i+1)
d[k]= +scipy.interpolate.interp1d(v[sl],ind[sl])(.5)
print (pd.Series(d))
# y1 16.666667
# y2 25.000000
# y3 13.333333
# y4 20.000000
# dtype: float64
如果不存在交叉点,可能必须调整它。