假设我有以下Pandas DataFrame:
a b
0 NAN BABA UN EQUITY
1 NAN 2018
2 NAN 2017
3 NAN 2016
4 NAN NAN
5 NAN 700 HK EQUITY
6 NAN 2018
7 NAN 2017
8 NAN 2016
9 NAN NAN
我想检查b
列中的每个单元格,看是否包含字符串EQUITY
。如果是这样,我想替换下一行的列a
中的单元格,直到用上一个字符串将所有NAN
的行替换为如下所示,以获取编辑的DataFrame:
a b
0 NAN BABA UN EQUITY
1 BABA UN EQUITY 2018
2 BABA UN EQUITY 2017
3 BABA UN EQUITY 2016
4 NAN NAN
5 NAN 700 HK EQUITY
6 700 HK EQUITY 2018
7 700 HK EQUITY 2017
8 700 HK EQUITY 2016
9 NAN NAN
我的实际DataFrame比上面的大得多,但格式相似。我是Pandas的新手,但我认为我可以通过使用
sheet.loc
并在循环中替换单元格值。
但是,我在弄清楚如何检查单元格是否包含EQUITY
时遇到了麻烦。似乎str.contains
是我应该使用的,但是我不清楚如何做到这一点。
谢谢!
答案 0 :(得分:11)
import numpy as np
import pandas as pd
df = pd.DataFrame({'a': ['NAN', 'NAN', 'NAN', 'NAN', 'NAN', 'NAN', 'NAN', 'NAN', 'NAN', 'NAN'],
'b': ['BABA UN EQUITY', '2018', '2017', '2016', 'NAN', '700 HK EQUITY', '2018', '2017', '2016', 'NAN']})
# Make sure that all NaN values are `np.nan` not `'NAN'` (strings)
df = df.replace('NAN', np.nan)
mask = df['b'].str.contains(r'EQUITY', na=True)
df.loc[mask, 'a'] = df['b']
df['a'] = df['a'].ffill()
df.loc[mask, 'a'] = np.nan
收益
a b
0 NaN BABA UN EQUITY
1 BABA UN EQUITY 2018
2 BABA UN EQUITY 2017
3 BABA UN EQUITY 2016
4 NaN NaN
5 NaN 700 HK EQUITY
6 700 HK EQUITY 2018
7 700 HK EQUITY 2017
8 700 HK EQUITY 2016
9 NaN NaN
上面的一个小技巧是如何定义mask
。请注意,str.contains
返回一个不仅包含True
和False
值,还包含NaN
的Series:
In [114]: df['b'].str.contains(r'EQUITY')
Out[114]:
0 True
1 False
2 False
3 False
4 NaN
5 True
6 False
7 False
8 False
9 NaN
Name: b, dtype: object
str.contains(..., na=True)
用于将NaN
视为True
:
In [116]: df['b'].str.contains(r'EQUITY', na=True)
Out[116]:
0 True
1 False
2 False
3 False
4 True
5 True
6 False
7 False
8 False
9 True
Name: b, dtype: bool
一旦有了mask
,这个想法就很简单:只要b
为True,就将a
中的值复制到mask
中:
df.loc[mask, 'a'] = df['b']
向前填充a
中的NaN值:
df['a'] = df['a'].ffill()
在a
为True的地方,用NaN替换mask
中的值:
df.loc[mask, 'a'] = np.nan