在python pandas数据帧中获取非null最新值

Question

我希望在所有变量中获得最新的非null值。例如，在此数据集中，我们有3个服务日期。

import pandas as pd
df =pd.DataFrame( {'PatientID': [1, 1, 1], 
'Date': ['01/01/2018', '01/15/2018','01/20/2018'],
'Height': ['Null', '178', 'Null'],
'Weight': ['Null', '182', '190'],
'O2 Level': ['95', '99', '92'],
'BPS': ['120', 'Null', 'Null'],
'DPS': ['80', 'Null', 'Null']})

Example Dataset

作为输出，我需要这样的东西：

df = pd.DataFrame( {'PatientID': [1], 
'Height': ['178'],
'Weight': ['190'],
'O2 Level': ['92'],
'BPS': ['120'],
'DPS': ['80']})

Expected Output

我的原始数据集有数千名患者和100多个协变量。目前我正在使用三重循环来完成这项任务，这是非常低效的。我正在寻找更有效的解决方案。

Answer 1

我认为您首先需要删除列Date，将null替换为NaN，然后使用groupby致电last：

d = {'PatientID': [1, 1, 1], 
'Date': ['01/01/2018', '01/15/2018','01/20/2018'],
'Height': ['Null', '178', 'Null'],
'Weight': ['Null', '182', '190'],
'O2 Level': ['95', '99', '92'],
'BPS': ['120', 'Null', 'Null'],
'DPS': ['80', 'Null', 'Null']}
c = ['PatientID','Date','Height','Weight','O2 Level','BPS','DPS']
df = pd.DataFrame(d, columns=c)
print (df)
   PatientID        Date Height Weight O2 Level   BPS   DPS
0          1  01/01/2018   Null   Null       95   120    80
1          1  01/15/2018    178    182       99  Null  Null
2          1  01/20/2018   Null    190       92  Null  Null

print (df.drop('Date', 1).replace('Null', np.nan))
   PatientID Height Weight O2 Level  BPS  DPS
0          1    NaN    NaN       95  120   80
1          1    178    182       99  NaN  NaN
2          1    NaN    190       92  NaN  NaN

df = df.drop('Date', 1).replace('Null', np.nan).groupby('PatientID', as_index=False).last()
print (df)
   PatientID Height Weight O2 Level  BPS DPS
0          1    178    190       92  120  80

Answer 2

您可以使用groupby + last

df.groupby(['Patient ID']).last()