Question

问题

我正在尝试将具有相同名称的多列集合聚合/合并为单列集合。例如：

我有一个数据框，其中包含多个列名重复的列。例如，考虑以下示例，其中我有多个具有相同列名的多个列的子集，如下所示：

    A    A     A     B     B
  0 cute tall tall  NaN   old
  1 NaN  NaN   5    NaN   NaN
  2  1   old   NaN  cute  big

我的目标是将每个子集（AAA和BB）映射到其自己的单列子集。以下期望的输出说明了这一想法：

      A_new          B_new
 0   "cute, tall"    "old"
 1   "5"              NaN
 2   "1, old"        "cute, big"

要到达此处，我将以下3个简单逻辑应用于输入数据帧：

将所有非NaN值合并为一个字符串，并将其保存到新列中。
组合非NaN值时，检查重复项，仅返回不重复的那些
如果所有值均为NaN，则返回NaN

我当前的解决方案基于for循环，遍历每一行。但是，这种方法非常慢，而且我的数据帧很大，因此我想知道是否有更有效/快速的方法来实现这一目标？

这是我当前（非常慢）的解决方案：

for c,j in tqdm(enumerate(columns)): # columns is a list holding all the relevant column names
    merged_values = []
    for i in (range(0,len(df))):
        values = [x for x in df[j].iloc[i] if x is not np.nan]
        values = list(set(values))
        if values == []:
            values = np.nan
        #print(values)
        elif len(values) > 1:
            values = ", ".join(values)
        else:
            values = values[0]
        merged_values.append(values)
    if c == 0:
        data = pd.DataFrame(merged_values,columns=[j+"_new"])
    else:
        data[j] = pd.DataFrame(merged_values,columns=[j+"_new])

Answer 1

您只需要先stack，然后再将groupby与join一起使用，然后再使用unstack进行转换

df.stack().groupby(level=[0,1]).apply(lambda x : ','.join(set(x))).unstack()
Out[237]: 
           A         B
0  cute,tall       old
1          5       NaN
2      1,old  big,cute

熊猫：将多列子集映射到单列子集的有效方法

问题

这是我当前（非常慢）的解决方案：

1 个答案: