通过在groupby之后删除nan来合并DataFrame中的行

Question

提供如下所示的DataFrame：

import numpy as np
import pandas as pd
from pandas import DataFrame

idx = pd.MultiIndex.from_product([["Project 1", "Project 2"], range(1,3)],
                         names=['Project', 'Ord'])
df = DataFrame({'a': ["foo", np.nan, np.nan, "bar"],
                'b': [np.nan, "one", "two", np.nan]},
               index=idx)

Out:

                 a    b
Project   Ord          
Project 1 1    foo  NaN
          2    NaN  one
Project 2 1    NaN  two
          2    bar  NaN

我想合并具有相同外部索引的行（请注意，在每种情况下只有一个非nan值）。

我目前的解决方案涉及两个groupby-operations：

df.index = df.index.droplevel(1)
df.groupby(df.index).ffill().groupby(df.index).last()

并给出了预期的结果：

Out:
             a    b
Project            
Project 1  foo  one
Project 2  bar  two

必须使用两个groupby-operations似乎过多，因为我需要的是一个聚合函数，它从列表中返回单个非nan值。但是，我想不出使用dropna作为聚合函数的方法。

Answer 1

您可以使用reset_index，stack和unstack：

In [131]: df.reset_index(level=1, drop=True).stack().unstack()
Out[131]:
             a    b
Project
Project 1  foo  one
Project 2  bar  two

Answer 2

last上的groupby方法获取最后一个有效值。在这种情况下，first会完成同样的事情。

df.groupby(level='Project').last()