将新的dataFrame列添加到pandas中的相同数据框

时间:2018-06-21 18:58:20

标签: python pandas dataframe warnings

问题:收到SettingWithCopy警告。

  

试图在DataFrame的切片副本上设置一个值。尝试   改用.loc [row_indexer,col_indexer] =值

目标: 将列数据分为单独的列,所有列都在同一DataFrame中。

输入: 具有2列的数据框。第一列是电子邮件地址,第二列包含以分号分隔的日期列表。

代码:

for dt in lunch_dates:
    roulette_data[dt] = roulette_data['date'].str.contains(dt).map(bool_conversion)

我想要这段代码做什么(确实如此): 在原始日期列中为找到的每个日期(dt)添加一个新列。

问题:在这种情况下如何使用iloc,以确保我不在内存中处理数据帧的可能副本?

1 个答案:

答案 0 :(得分:1)

您的示例

没有可以测试的数据,我无法对其进行测试,但是以下方法可以工作(将“ email_column_name”替换为“ email”列的名称):

dates = pd.get_dummies(
                       roulette_data.set_index('email_column_name')['date']\
                       .str.split(';',expand=True)\
                       .stack().reset_index(level=1, drop=True)
                      )\
                      .reset_index().groupby('email_column_name').sum()

这是一个玩具示例:

df = pd.DataFrame({'col1':['record1', 'record2'], 
                  'col2':["this is good text", "but this is even better"]}
                 )

df
#      col1                     col2
#0  record1        this is good text
#1  record2  but this is even better

我们首先将索引设置为col1,然后选择col2,因此我们可以使用其.str.split方法将行拆分为单个单词。

df.set_index('col1')['col2'].str.split(expand=True)
#            0     1     2     3       4
#col1                                   
#record1  this    is  good  text    None
#record2   but  this    is  even  better

然后我们使用stack更改形状,并使用reset_index摆脱不必要的索引级别

df.set_index('col1')['col2'].str.split(expand=True)\
            .stack().reset_index(level=1, drop=True) 
#col1
#record1      this
#record1        is
#record1      good
#record1      text
#record2       but
#record2      this
#record2        is
#record2      even
#record2    better
#dtype: object

我们将整个表达式包装在pd.get_dummies()

pd.get_dummies(df.set_index('col1')['col2'].str.split(expand=True).stack().reset_index(level=1, drop=True))

#         better  but  even  good  is  text  this
#col1                                            
#record1       0    0     0     0   0     0     1
#record1       0    0     0     0   1     0     0
#record1       0    0     0     1   0     0     0
#record1       0    0     0     0   0     1     0
#record2       0    1     0     0   0     0     0
#record2       0    0     0     0   0     0     1
#record2       0    0     0     0   1     0     0
#record2       0    0     1     0   0     0     0
#record2       1    0     0     0   0     0     0

最终结果

最后,我们reset_index(即col1或您的电子邮件列),groupby col1并对其求和。

pd.get_dummies(
               df.set_index('col1')['col2']\
               .str.split(expand=True)\
               .stack().reset_index(level=1, drop=True)
              )\
              .reset_index().groupby('col1').sum()
#         better  but  even  good  is  text  this
#col1                                            
#record1       0    0     0     1   1     1     1
#record2       1    1     1     0   1     0     1