Question

我有一个数据框data:

import pandas as pd
data = pd.DataFrame({"col1" : ['1_xy','2_xy','3_xy','4_xy','5_xy'], 
                     "col2" : [['a', 'b', 'c'], 
                               ['d', 'e', 'f', 'g', 'h', 'i'], 
                               ['a', 'j', 'k'], 
                               ['a', 'b', 'd'], 
                               ['a', 'l', 'm']]})

输出：

    col1    col2
0   1_xy    [a, b, c]
1   2_xy    [d, e, f, g, h, i]
2   3_xy    [a, j, k] 
3   4_xy    [a, b, d]
4   5_xy    [a, l, m]

我正在尝试将此数据框转换为如下所示：

import re
new_data = pd.DataFrame({'col1': ['1_xy','2_xy','3_xy','4_xy','5_xy'],
                     'a' : [1,0,1,1,1], 'b' : [1,0,0,1,0],
                     'c' : [1,0,0,0,0], 'd' : [0,1,0,1,0],
                     'e' : [0,1,0,0,0], 'f' : [0,1,0,0,0],
                     'g' : [0,1,0,0,0], 'h' : [0,1,0,0,0],
                     'i' : [0,1,0,0,0], 'j' : [0,0,1,0,0],
                     'k' : [0,0,1,0,0], 'l' : [0,0,0,0,1],
                     'm' : [0,0,0,0,1]})
new_data[["col1"] + [name for name in new_data.columns if not re.search("col1", name)]]

输出：

    col1    a   b   c   d   e   f   g   h   i   j   k   l   m
0   1_xy    1   1   1   0   0   0   0   0   0   0   0   0   0
1   2_xy    0   0   0   1   1   1   1   1   1   0   0   0   0
2   3_xy    1   0   0   0   0   0   0   0   0   1   1   0   0
3   4_xy    1   1   0   1   0   0   0   0   0   0   0   0   0
4   5_xy    1   0   0   0   0   0   0   0   0   0   0   1   1

即。新数据框的列由data.col2列表中的唯一值组成，值将填充与列表中的条目对应的值。

到目前为止，我一直在玩pandas.get_dummies，但它会创建我无法控制的虚假列。

我尝试执行此操作的真实数据非常高（很多行），因此内存“可能”是一个问题，但所有解决方案都是受欢迎的。我应该补充一点，我已经准备好了一个使用字典方法的解决方法 - 但不幸的是，它很慢。希望任何人以前都能看到这个问题并且可以提供帮助。

我目前正在使用python v3.4和pandas v0.14.1（我知道......）

Answer 1

您可以尝试使用get_dummies，通过在参数上播放以获得正确的列名称：

df = pd.get_dummies(data.col2.apply(pd.Series), prefix='', prefix_sep='')
pd.concat([data['col1'], df], axis=1)

Out[31]:
   col1  a  d  b  e  j  l  c  d  f  k  m  g  h  i
0  1_xy  1  0  1  0  0  0  1  0  0  0  0  0  0  0
1  2_xy  0  1  0  1  0  0  0  0  1  0  0  1  1  1
2  3_xy  1  0  0  0  1  0  0  0  0  1  0  0  0  0
3  4_xy  1  0  1  0  0  0  0  1  0  0  0  0  0  0
4  5_xy  1  0  0  0  0  1  0  0  0  0  1  0  0  0

Pandas列中的非唯一列表包含填充条目的列名

1 个答案: