如何在pandas数据帧中拆分元组列?

时间:2015-04-09 22:50:38

标签: python numpy pandas dataframe tuples

我有一个pandas数据帧(这只是一小块)

>>> d1
   y norm test  y norm train  len(y_train)  len(y_test)  \
0    64.904368    116.151232          1645          549   
1    70.852681    112.639876          1645          549   

                                    SVR RBF  \
0   (35.652207342877873, 22.95533537448393)   
1  (39.563683797747622, 27.382483096332511)   

                                        LCV  \
0  (19.365430594452338, 13.880062435173587)   
1  (19.099614489458364, 14.018867136617146)   

                                   RIDGE CV  \
0  (4.2907610988480362, 12.416745648065584)   
1    (4.18864306788194, 12.980833914392477)   

                                         RF  \
0   (9.9484841581029428, 16.46902345373697)   
1  (10.139848213735391, 16.282141345406522)   

                                           GB  \
0  (0.012816232716538605, 15.950164822266007)   
1  (0.012814519804493328, 15.305745202851712)   

                                             ET DATA  
0  (0.00034337162272515505, 16.284800366214057)  j2m  
1  (0.00024811554516431878, 15.556506191784194)  j2m  
>>> 

我想拆分包含元组的所有列。例如,我想将列LCV替换为列LCV-aLCV-b

我该怎么做?

5 个答案:

答案 0 :(得分:110)

您可以通过在该列上执行pd.DataFrame(col.tolist())来执行此操作:

In [2]: df = pd.DataFrame({'a':[1,2], 'b':[(1,2), (3,4)]})                                                                                                                      

In [3]: df                                                                                                                                                                      
Out[3]: 
   a       b
0  1  (1, 2)
1  2  (3, 4)

In [4]: df['b'].tolist()                                                                                                                                                        
Out[4]: [(1, 2), (3, 4)]

In [5]: pd.DataFrame(df['b'].tolist(), index=df.index)                                                                                                                                          
Out[5]: 
   0  1
0  1  2
1  3  4

In [6]: df[['b1', 'b2']] = pd.DataFrame(df['b'].tolist(), index=df.index)                                                                                                                       

In [7]: df                                                                                                                                                                      
Out[7]: 
   a       b  b1  b2
0  1  (1, 2)   1   2
1  2  (3, 4)   3   4

注意:在早期版本中,此答案建议使用df['b'].apply(pd.Series)代替pd.DataFrame(df['b'].tolist(), index=df.index)。这也是有效的(因为它使每个元组成为一个系列,然后被视为一行数据帧),但比tolist版本更慢/使用更多内存,如此处的其他答案所述(感谢@denfromufa) 我更新了这个答案,以确保最明显的答案是最佳解决方案。

答案 1 :(得分:23)

在更大的数据集上,我发现someValues.forEach(x => { let a = 2 + x; console.log(a); }); .apply()慢几个订单

这个性能问题在GitHub中已经关闭,尽管我不同意这个决定:

https://github.com/pandas-dev/pandas/issues/11615

编辑:基于这个答案:https://stackoverflow.com/a/44196843/2230844

答案 2 :(得分:8)

我知道这是不久前的事,但是第二个解决方案的一个警告:

pd.DataFrame(df['b'].values.tolist())

是它将显式地丢弃索引,并添加默认顺序索引,而接受的答案

apply(pd.Series)

不会,因为apply的结果将保留行索引。虽然订单最初是从原始数组中保留的,但是pandas会尝试匹配来自两个数据帧的指标。

如果您尝试将行设置为数字索引数组,这可能非常重要,并且pandas会自动尝试将新数组的索引与旧数组匹配,并导致排序中的某些失真。

更好的混合解决方案是将原始数据帧的索引设置为新的,即

pd.DataFrame(df['b'].values.tolist(), index=df.index)

这将保持使用第二种方法的速度,同时确保在结果上保留顺序和索引。

答案 3 :(得分:5)

我认为更简单的方法是:

>>> import pandas as pd
>>> df = pd.DataFrame({'a':[1,2], 'b':[(1,2), (3,4)]}) 
>>> df
   a       b
0  1  (1, 2)
1  2  (3, 4)
>>> df['b_a']=df['b'].str[0]
>>> df['b_b']=df['b'].str[1]
>>> df
   a       b  b_a  b_b
0  1  (1, 2)    1    2
1  2  (3, 4)    3    4

答案 4 :(得分:0)

str的{​​{1}}个对象可用的pandas.Series访问器实际上是可迭代的。

假设一个dtype == object pandas.DataFrame

df

我们可以测试它是否可迭代

df = pd.DataFrame(dict(col=[*zip('abcdefghij', range(10, 101, 10))]))

df

        col
0   (a, 10)
1   (b, 20)
2   (c, 30)
3   (d, 40)
4   (e, 50)
5   (f, 60)
6   (g, 70)
7   (h, 80)
8   (i, 90)
9  (j, 100)

然后我们可以像处理其他可迭代项一样从中进行分配:

from collections import Iterable

isinstance(df.col.str, Iterable)

True

最简单的解决方案

因此,我们可以在一行中分配两列

var0, var1 = 'xy'
print(var0, var1)

x y

更快的解决方案

仅稍微复杂一点,我们可以使用df['a'], df['b'] = df.col.str df col a b 0 (a, 10) a 10 1 (b, 20) b 20 2 (c, 30) c 30 3 (d, 40) d 40 4 (e, 50) e 50 5 (f, 60) f 60 6 (g, 70) g 70 7 (h, 80) h 80 8 (i, 90) i 90 9 (j, 100) j 100 创建类似的可迭代

zip

内联

意思是,请勿对现有的df['c'], df['d'] = zip(*df.col) df col a b c d 0 (a, 10) a 10 a 10 1 (b, 20) b 20 b 20 2 (c, 30) c 30 c 30 3 (d, 40) d 40 d 40 4 (e, 50) e 50 e 50 5 (f, 60) f 60 f 60 6 (g, 70) g 70 g 70 7 (h, 80) h 80 h 80 8 (i, 90) i 90 i 90 9 (j, 100) j 100 j 100 进行变异
之所以有效,是因为df接受关键字参数,其中关键字是新(或现有)列名称,而值将是新列的值。您可以使用字典并用assign解压缩它,并将其用作关键字参数。因此,这是分配名为**的新列的聪明方法,该列是'g'迭代的第一项,而df.col.str'h'迭代的第二项。

df.col.str

我的df.assign(**dict(zip('gh', df.col.str))) col g h 0 (a, 10) a 10 1 (b, 20) b 20 2 (c, 30) c 30 3 (d, 40) d 40 4 (e, 50) e 50 5 (f, 60) f 60 6 (g, 70) g 70 7 (h, 80) h 80 8 (i, 90) i 90 9 (j, 100) j 100 方法版本

具有现代的列表理解功能和变量解压缩功能。
注意:也使用list

内联
join

变异版本为

df.join(pd.DataFrame([*df.col], df.index, [*'ef']))

        col  g    h
0   (a, 10)  a   10
1   (b, 20)  b   20
2   (c, 30)  c   30
3   (d, 40)  d   40
4   (e, 50)  e   50
5   (f, 60)  f   60
6   (g, 70)  g   70
7   (h, 80)  h   80
8   (i, 90)  i   90
9  (j, 100)  j  100

天真时间测试

短数据框

使用上面定义的一个

df[['e', 'f']] = pd.DataFrame([*df.col], df.index)
长数据框

大10 ^ 3倍

%timeit df.assign(**dict(zip('gh', df.col.str)))
%timeit df.assign(**dict(zip('gh', zip(*df.col))))
%timeit df.join(pd.DataFrame([*df.col], df.index, [*'gh']))

1.16 ms ± 21.5 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
635 µs ± 18.7 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
795 µs ± 42.5 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)