使用在另一列上的拆分有条件地填充新列

时间:2019-08-25 19:09:36

标签: python pandas dataframe split

我有一个数据框

df = pd.DataFrame({'col1': [1,2,1,2], 'col2': ['aa bb cc', 'ee-ff-gg', 'hh ii kk', 'll-mm-nn']})

我要:

  • 在''上拆分col2,其中col1 == 1
  • 分割为“-”,其中col1 == 2
  • 将此数据追加到3个新列中:(col20,col21,col22)

理想情况下,代码如下所示:

subdf=df.loc[df['col1']==1]
#list of columns to use
col_list=['col20', 'col21', 'col22']
#append to dataframe new columns from split function
subdf[col_list]=(subdf.col2.str.split(' ', 2, expand=True)

但是这没有用。

我尝试使用合并 join ,但是:

    如果列已经填充,
  • join将不起作用
  • 如果不合并,则不起作用。

我也尝试过:

#subset dataframes
subdf=df.loc[df['col1']==1]
subdf2=df.loc[df['col1']==2]

#trying the join method, only works if columns aren't already present
subdf.join(subdf.col2.str.split(' ', 2, expand=True).rename(columns={0:'col20', 1:'col21', 2: 'col22'}))
#merge doesn't work if columns aren't present
subdf2=subdf2.merge(subdf2.col2.str.split('-', 2, expand=True).rename(columns={0:'col20', 1:'col21', 2: 'col22'}))
subdf2

我运行它时的错误消息:

subdf2=subdf2.merge(subdf2.col2.str.split('-', 2, expand=True).rename(columns={0:'col20', 1:'col21', 2: 'col22'})

MergeError: No common columns to perform merge on. Merge options: left_on=None, right_on=None, left_index=False, right_index=False

在标记对正则表达式发表评论后编辑给出的信息

我最初的col1实际上是我用来从某些字符串中提取col2的正则表达式组合。

#the combination I used to extract the col2
combinations= ['(\d+)[-](\d+)[-](\d+)[-](\d+)', '(\d+)[-](\d+)[-](\d+)'... ]

这是原始数据框

col1                          col2 
(\d+)[-](\d+)[-](\d+)[-](\d+) 350-300-50-10 
(\d+)[-](\d+)[-](\w+)(\d+)    150-180-G31   

然后,我创建了一个字典,将每种组合与col2的拆分值表示的内容相关联:

filtermap={'(\d+)[-](\d+)[-](\w+)(\d+)': 'thickness temperature sample', '(\d+)[-](\d+)[-](\d+)[-](\d+)': 'thickness temperature width height' }

使用此过滤器,我想:

  • 基于正则表达式组合对dattaframe进行子集
  • 在col2上使用split查找使用过滤器映射(厚度温度..)对应于组合的值
  • 将这些值添加到数据框上的新列中
col1                          col2           thickness temperature width length sample
(\d+)[-](\d+)[-](\d+)[-](\d+) 350-300-50-10  350       300         50    10
(\d+)[-](\d+)[-](\w+)(\d+)    150-180-G31    150       180                        G31   

由于您提到了正则表达式,也许您知道直接执行此操作的方法吗?

EDIT 2;输入输出

在输入中有类似这样的字符串:

'this is the first example string 350-300-50-10 ', 
'this is the second example string 150-180-G31'

格式为:

  • number-number-number-number(350-300-50-10)中包含以下顺序信息:厚度(350)-温度(300)-宽度(50)-长度(10)

  • 数字-数字-字母数字(150-180-G31)中包含以下有序信息:厚度-温度-样品

所需的输出:

col2,          thickness, temperature, width, length, sample 

350-300-50-10  350        300          50     10       None
150-180-G31    150        180          None   None     G31

我用例如:

re.search('(\d+)[-](\d+)[-](\d+)[-](\d+)')) 

在字符串中找到col2

2 个答案:

答案 0 :(得分:1)

您非常接近。要根据某些条件生成列,where通常很方便,请参见下面的代码

col2_exp1 = df.col2.str.split(' ',expand=True)
col2_exp2 = df.col2.str.split('-',expand=True)

col2_combine = (col2_exp1.where(df.col1.eq(1),col2_exp2)
                         .rename(columns=lambda x:f'col2{x}'))

最后,

df.join(col2_combine)

答案 1 :(得分:1)

您可以使用np.where来简化此问题。

import pandas as pd
import numpy as np
df = pd.DataFrame({'col1': [1,2,1,2],
                   'col2': ['aa bb cc', 'ee-ff-gg', 'hh ii kk', 'll-mm-nn']
                   })


temp = np.where(df['col1'] == 1, #a boolean array/series indicating where the values are equal to 1.
                df['col2'].str.split(' '), #Use the output of this if True
                df['col2'].str.split('-') #Else use this.
                )

temp_df = pd.DataFrame(temp.tolist()) #create a new dataframe with the columns we need
#Output:
    0   1   2
0  aa  bb  cc
1  ee  ff  gg
2  hh  ii  kk
3  ll  mm  nn

现在只需将结果分配回原始df。您可以使用concat或join,但是简单的分配也足够。

df[[f'col2_{i}' for i in temp_df.columns]] = temp_df

print(df)
   col1      col2 col2_0 col2_1 col2_2
0     1  aa bb cc     aa     bb     cc
1     2  ee-ff-gg     ee     ff     gg
2     1  hh ii kk     hh     ii     kk
3     2  ll-mm-nn     ll     mm     nn

编辑:要解决两个以上的条件拆分

如果您需要两个以上的条件,则np.where仅设计用于二进制选择。您可以选择一种“自定义”方法,该方法可以根据需要在任意多个拆分中使用。

splits = [ ' ', '-', '---']
all_splits = pd.DataFrame({s:df['col2'].str.split(s).values for s in splits})
#Output:
                            -         ---
0  [aa, bb, cc]    [aa bb cc]  [aa bb cc]
1    [ee-ff-gg]  [ee, ff, gg]  [ee-ff-gg]
2  [hh, ii, kk]    [hh ii kk]  [hh ii kk]
3    [ll-mm-nn]  [ll, mm, nn]  [ll-mm-nn]

首先,我们在所有拆分上拆分df['col2'],而不进行扩展。现在,只是根据list的值选择正确的df['col1']

的问题

我们可以为此使用numpy的高级索引。

temp = all_splits.values[np.arange(len(df)), df['col1']-1]

此后,步骤应与上述相同,从创建temp_df

开始