在熊猫中,如何用另一列中的图案提取物填充Nan?

时间:2020-07-26 18:31:53

标签: python regex pandas time fillna

我正在处理下面的数据,我想在BeginEnd的Nan中输入来自Subscription Period列的日期。 所有列都是字符串。

我有几种格式:

  • 对于05/03/2020 to 04/03/2021,我使用:
    # clean if date begin and end in SubscriptionPeriod
    # create 3 new colonnes
    df_period = df['Subscription Period'] \
        .str.extractall(r'(?P<Period>(?P<Begin>(0[1-9]|[12][0-9]|3[01])[/](0[1-9]|1[012])[/](19|20)?\d\d).+(?P<End>(0[1-9]|[12][0-9]|3[01])[/](0[1-9]|1[012])[/](19|20)?\d\d))')
    df['Period'] = df_period['Period'].unstack()
    df['Begin'] = df_period['Begin'].unstack()
    df['End'] = df_period['End'].unstack()
  • 用于Subscription Period中的其他格式:

Subscription Hospital Sept-Dec 2018:我想提取Begin中的2018年9月1日和End中的2018年12月31日。
Yearly Subscription Hospital (effective 17/04/2019)
Yearly Subscription Hospital (effective 01 octobre 2018)
为此,我想在Begin中获取日期,并在End中获取一年。

我尝试解决方案:

  • 带有mask()
mask = df['Subscription Period'].str.contains(r'(\d{2}/\d{2}/\d{2,4})[)]?$')
df.loc[mask, 'Begin'] = df['Subscription Period'].str.contains(r'(\d{2}/\d{2}/\d{2,4})[)]?$')
  • with loc():适用于“ B”,但不适用于带有提取物的正则表达式。
df.loc[(df['Begin'].isnull()) , 'Period']= 'B'

这里的数据:

data = {'Date': {0: '2020-05-05',
  1: '2018-09-12',
  2: '2020-04-22',
  3: '2020-01-01',
  4: '2019-04-17',
  5: '2018-09-07',
  6: '2018-11-20',
  7: '2018-11-28'},
 'Subscription Period': {0: 'Subscription Hospital : from 01/05/2020 to 30/04/2021',
  1: 'Subscription Hospital Sept-Dec 2018',
  2: 'Yearly Subscription Hospital from 05/03/2020 to 04/03/2021',
  3: 'Subscription Hospital from 01/01/2020 to 31/12/2020',
  4: 'Yearly Subscription Hospital (effective 17/04/2019)',
  5: 'Yearly Subscription Hospital (effective 01 octobre 2018)',
  6: 'Subscription : Hospital',
  7: 'Yearly Subscription Hospital'},
 'Period': {0: '01/05/2020 to 30/04/2021',
  1: np.NaN,
  2: '05/03/2020 to 04/03/2021',
  3: '01/01/2020 to 31/12/2020',
  4: np.NaN,
  5: np.NaN,
  6: np.NaN,
  7: np.NaN},
 'Begin': {0: '01/05/2020',
  1: np.NaN,
  2: '05/03/2020',
  3: '01/01/2020',
  4: np.NaN,
  5: np.NaN,
  6: np.NaN,
  7: np.NaN},
 'End': {0: '30/04/2021',
  1: np.NaN,
  2: '04/03/2021',
  3: '31/12/2020',
  4: np.NaN,
  5: np.NaN,
  6: np.NaN,
  7: np.NaN}}

df = pd.DataFrame.from_dict(data)

感谢您的帮助和任何提示。

1 个答案:

答案 0 :(得分:0)

对于您的mask示例,如果您使用的是str.extractstr.extractall,则无需使用掩码进行索引,因为已对结果数据帧进行了索引。相反,您可以使用concat来加入索引,并使用combine_first仅在Begin为null的情况下应用:

begin2 = df['Subscription Period'].str.extract(r'(\d{2}/\d{2}/\d{2,4})[)]?$').rename({0:'Begin2'}, axis=1)
df = pd.concat([df, begin2], axis=1)
df.Begin = df.Begin.combine_first(df.Begin2)
df = df.drop('Begin2', axis=1)

希望您可以从这里拿走它?否则,您可能必须弄清楚到底在哪里遇到问题。

顺便说一句,这些正则表达式非常有毛。我建议转换定义自定义函数并使用df.apply