我在列表中有很多单独的数据帧,每个数据帧都有Multiindexed列,并且是不同时间段和长度的时间序列。我想做三件事:
我知道默认情况下``pandas.concat(objs,axis = 1)组合了列并对行索引进行排序,但我也希望数据帧具有相同的标签和级别,以便在时间轴上加入而不是他们完全并排。
我还应该提到,具有相同标签和级别的数据帧在不同的时间段内相互连接但不重叠。
举个例子:
first,second,third = rand(5,2),rand(5,2),rand(10,2)
a = pd.DataFrame(first, index=pd.DatetimeIndex(start='1990-01-01', periods=5, freq='d'))
a.columns = pd.MultiIndex.from_tuples([('A','a'),('A','b')])
b = pd.DataFrame(second, index=pd.DatetimeIndex(start='1990-01-06', periods=5, freq='d'))
b.columns = pd.MultiIndex.from_tuples([('A','a'),('A','b')])
c = pd.DataFrame(third, index=pd.DatetimeIndex(start='1990-01-01', periods=10, freq='d'))
c.columns = pd.MultiIndex.from_tuples([('B','a'),('B','b')])
pd.concat([a,b,c], axis=1)
给出这个:
Out[3]:
A B
a b a b a b
1990-01-01 0.351481 0.083324 NaN NaN 0.060026 0.124302
1990-01-02 0.486032 0.742887 NaN NaN 0.570997 0.633906
1990-01-03 0.145066 0.386665 NaN NaN 0.166567 0.147794
1990-01-04 0.257831 0.995324 NaN NaN 0.630652 0.534507
1990-01-05 0.446912 0.374049 NaN NaN 0.311473 0.727622
1990-01-06 NaN NaN 0.920003 0.051772 0.731657 0.393296
1990-01-07 NaN NaN 0.142397 0.837654 0.597090 0.833893
1990-01-08 NaN NaN 0.506141 0.056407 0.832294 0.222501
1990-01-09 NaN NaN 0.655442 0.754245 0.802421 0.743875
1990-01-10 NaN NaN 0.195767 0.880637 0.215509 0.857576
有一种简单的方法可以解决这个问题吗?
d = a.append(b)
pd.concat([d,c], axis=1)
Out[4]:
A B
a b a b
1990-01-01 0.351481 0.083324 0.060026 0.124302
1990-01-02 0.486032 0.742887 0.570997 0.633906
1990-01-03 0.145066 0.386665 0.166567 0.147794
1990-01-04 0.257831 0.995324 0.630652 0.534507
1990-01-05 0.446912 0.374049 0.311473 0.727622
1990-01-06 0.920003 0.051772 0.731657 0.393296
1990-01-07 0.142397 0.837654 0.597090 0.833893
1990-01-08 0.506141 0.056407 0.832294 0.222501
1990-01-09 0.655442 0.754245 0.802421 0.743875
1990-01-10 0.195767 0.880637 0.215509 0.857576
这里的关键是我不知道如何在列表中排序数据帧我基本上需要知道何时连接(obj,axis = 1)或concat(obj,axis = 0)和可以这样做来组合我的数据帧列表。也许大熊猫已经有了可以做到这一点的事情了吗?
答案 0 :(得分:3)
我不确定是否有单行方式(可能有)...
这是我考虑创建一个空框架然后填充它的一次:
In [11]: frames = [a, b, c]
获取索引和列的并集:
In [12]: index = sum(x.index for x in frames)
cols = sum(x.columns for x in frames)
In [13]: res = pd.DataFrame(index=index, columns=cols)
每个框架(按标签)填写:
In [14]: for df in [a, b, c]:
res.loc[df.index, df.columns] = df
In [15]: res
Out[15]:
A B
a b a b
1990-01-01 0.8516285 0.4087078 0.577000 0.595293
1990-01-02 0.6544393 0.4377864 0.851378 0.595919
1990-01-03 0.3123428 0.03825423 0.834704 0.989195
1990-01-04 0.2314499 0.4971448 0.343455 0.770400
1990-01-05 0.1982945 0.9031414 0.466225 0.463490
1990-01-06 0.7370323 0.3923151 0.263120 0.892815
1990-01-07 0.09038236 0.8778266 0.643816 0.049769
1990-01-08 0.7199705 0.02114493 0.766267 0.472471
1990-01-09 0.06733081 0.443561 0.984558 0.443647
1990-01-10 0.4695022 0.5648693 0.870240 0.949072