merge_asof等效仅使用pandas合并

时间:2016-11-11 13:06:07

标签: python pandas numpy dataframe scipy

我有以下2个DataFrame。 A具有数据,B具有数据权重。 B具有作为指数的权重变为活动的日期,'level_1'具有与权重相关的实体。

<select
    name="Agreement"
    class="form-control" 
    ng-model="vm.agreement.AgreementDocumentType"
    ng-options="option.id as option.label for option in vm.agreementTypes"
    required>
</select>

我想在最后得到这样的东西(相当于A在'权重'栏中应用了B的权重)

A = pd.DataFrame(index=pd.date_range(start='2016-01-15', periods=10, freq='B'))
B = pd.DataFrame(index=pd.date_range(start='2016-01-01', periods=5, freq='W'))
A["X"] = np.random.rand(A.shape[0])
A["Y"] = np.random.rand(A.shape[0])
A["Z"] = np.random.rand(A.shape[0])


B["X"] = np.random.rand(B.shape[0])
B["Y"] = np.random.rand(B.shape[0])
B["Z"] = np.random.rand(B.shape[0])

A = A.stack(dropna=False).reset_index(level=1)
B = B.stack(dropna=False).reset_index(level=1)

让我感到震惊的是,B中的索引不是(或不一定)在A中,这意味着我不能只将B中的数据添加到A下的A中,然后执行A ['weights'] .fillna(method = 'ffill')。我可以循环,但这很慢而且很混乱。

2 个答案:

答案 0 :(得分:2)

我认为你需要merge_asof

np.random.seed(1234)
A = pd.DataFrame(index=pd.date_range(start='2016-01-15', periods=10, freq='B'))
B = pd.DataFrame(index=pd.date_range(start='2016-01-01', periods=5, freq='W'))
A["X"] = np.random.rand(A.shape[0])
A["Y"] = np.random.rand(A.shape[0])
A["Z"] = np.random.rand(A.shape[0])


B["X"] = np.random.rand(B.shape[0])
B["Y"] = np.random.rand(B.shape[0])
B["Z"] = np.random.rand(B.shape[0])

A = A.stack(dropna=False).reset_index(level=1)
B = B.stack(dropna=False).reset_index(level=1)

#print (A)
#print (B)
print (pd.merge_asof(A.reset_index(),
                     B.reset_index().rename(columns={0:'weight'}), on='index', by='level_1'))

       index level_1         0    weight
0  2016-01-15       X  0.191519  0.436173
1  2016-01-15       Y  0.357817  0.218792
2  2016-01-15       Z  0.364886  0.184287
3  2016-01-18       X  0.622109  0.802148
4  2016-01-18       Y  0.500995  0.924868
5  2016-01-18       Z  0.615396  0.047355
6  2016-01-19       X  0.437728  0.802148
7  2016-01-19       Y  0.683463  0.924868
8  2016-01-19       Z  0.075381  0.047355
9  2016-01-20       X  0.785359  0.802148
10 2016-01-20       Y  0.712702  0.924868
11 2016-01-20       Z  0.368824  0.047355
12 2016-01-21       X  0.779976  0.802148
13 2016-01-21       Y  0.370251  0.924868
14 2016-01-21       Z  0.933140  0.047355
15 2016-01-22       X  0.272593  0.802148
16 2016-01-22       Y  0.561196  0.924868
17 2016-01-22       Z  0.651378  0.047355
18 2016-01-25       X  0.276464  0.143767
19 2016-01-25       Y  0.503083  0.442141
20 2016-01-25       Z  0.397203  0.674881
21 2016-01-26       X  0.801872  0.143767
22 2016-01-26       Y  0.013768  0.442141
23 2016-01-26       Z  0.788730  0.674881
24 2016-01-27       X  0.958139  0.143767
25 2016-01-27       Y  0.772827  0.442141
26 2016-01-27       Z  0.316836  0.674881
27 2016-01-28       X  0.875933  0.143767
28 2016-01-28       Y  0.882641  0.442141
29 2016-01-28       Z  0.568099  0.674881

答案 1 :(得分:0)

好的,我在jezrael给我的关键说明(使用合并)之后开发了另一个解决方案。这只使用pandas.merge()来执行上面的任务

$fileList