如何在熊猫df上使用此工作正则表达式(re)删除多余的非数字字符星号(*)?

时间:2018-09-12 19:23:22

标签: python regex pandas

通过使用下面的代码,我可以使用 re 将这样的字符串:*12.2更改为这样的浮点数:12.2

import re
numeric_const_pattern = '[-+]? (?: (?: \d* \. \d+ ) | (?: \d+ \.? ) )(?: [Ee] [+-]? \d+ ) ?'
rx = re.compile(numeric_const_pattern, re.VERBOSE)
print('converted string to float number is', float(rx.findall("*12.2")[0]))

converted string to float number is 12.2

但是我有一个熊猫df,即:

df = pd.DataFrame([[10, '*41', '-0.01', '2'],['*10.5', 54, 34.2, '*-0.076'], 
                        [65, -32.01, '*344.32', 0.01], ['*32', '*0', 5, 43]])


       0         1         2          3
0      10       *41      -0.01        2
1     *10.5      54       34.2      *-0.076
2      65       -32.01   *344.32      0.01
3     *32       *0        5           43

如何将上述函数应用于此df,以便删除所有星号字符,并制作一个完整的float dtype pandas df,如下所示?

       0       1       2          3
0      10      41     -0.01       2
1      10.5    54      34.2      -0.076
2      65     -32.01   344.32     0.01
3      32      0       5          43

2 个答案:

答案 0 :(得分:5)

简单

df.replace('[^\d\.eE+-]', '', regex=True).astype(float)

      0      1       2       3
0  10.0  41.00   -0.01   2.000
1  10.5  54.00   34.20  -0.076
2  65.0 -32.01  344.32   0.010
3  32.0   0.00    5.00  43.000

更强大

df.replace('[^\d\.eE+-]', '', regex=True).apply(pd.to_numeric, errors='coerce')

      0      1       2       3
0  10.0  41.00   -0.01   2.000
1  10.5  54.00   34.20  -0.076
2  65.0 -32.01  344.32   0.010
3  32.0   0.00    5.00  43.000

答案 1 :(得分:2)

有点冗长,但这是一个使用meltstr.rpartition的可行的基于非正则表达式的解决方案。

v = df.melt()['value'].astype(str).str.rpartition('*')[2]
df = pd.DataFrame(v.values.astype(float).reshape(df.shape))

df
       0       1       2     3
0  10.00  10.500   65.00  32.0
1  41.00  54.000  -32.01   0.0
2  -0.01  34.200  344.32   5.0
3   2.00  -0.076    0.01  43.0