用Pandas按间隔分割长度(米)数据

时间:2017-07-03 05:37:54

标签: python pandas pivot-table intervals

我有一个长度间隔数据的数据框(来自钻孔),看起来像这样:

df
Out[46]: 
   from  to  min intensity
0     0  10   py        2
1     5  15  cpy       3.5
2    14  27  spy       0.7

我需要转移这些数据,但也要在最小公共长度间隔内打破它;导致了“分钟”。列为列标题,值为' rank'。输出看起来像这样:

df.somefunc(index=['from','to'], columns='min', values='intensity', fill_value=0)
Out[47]: 
   from  to  py  cpy  spy
0     0  5   2   0    0
1     5  10  2   3.5  0
2    10  14  0   3.5  0
3    14  15  0   3.5  0.7
4    15  27  0   0    0.7

所以基本上是" From"和" To"描述钻孔下方的非重叠区间,其中区间由最小公分母分开 - 正如您可以看到的那样," py"从原始表中分隔出来的间隔,第一个(0-5m)变为py:2,cpy:0和第二个(5-10m)变为py:2,cpy:3.5。

只有一个基本的pivot_table函数的结果是:

pd.pivot_table(df, values='intensity', index=['from', 'to'], columns="min", aggfunc="first", fill_value=0)
Out[48]: 
min      cpy  py  spy
from to              
0    10    0   2    0
5    15  3.5   0    0
14   27    0   0    0.75

只是将from和to组合为一个索引。重要的一点是我的输出不能与值重叠(IE后续'来自'值不能小于之前的'值)。

使用Pandas有没有一种优雅的方法来实现这一目标?谢谢你的帮助!

1 个答案:

答案 0 :(得分:1)

我不知道Pandas中的自然区间算法,所以你需要这样做。 这是一种方法,如果我正确理解约束条件。 这可能是一个O(n ^ 3)问题,它将为大型条目创建巨大的表。

# make the new bounds
bounds=np.unique(np.hstack((df["from"],df["to"])))
df2=pd.DataFrame({"from":bounds[:-1],"to":bounds[1:]})

#find inclusions 
isin=df.apply(lambda x :
df2['from'].between(x[0],x[1]-1)
| df2['to'].between(x[0]+1,x[1])
,axis=1).T

#data
data=np.where(isin,df.intensity,0)

#result
df3=pd.DataFrame(data,
pd.MultiIndex.from_arrays(df2.values.T),df["min"])

对于:

In [26]: df3
Out[26]: 
min     py  cpy  spy
0  5   2.0  0.0  0.0
5  10  2.0  3.5  0.0
10 14  0.0  3.5  0.0
14 15  0.0  3.5  0.7
15 27  0.0  0.0  0.7