假设我有一个数据集，其中包含住在ICU的患者心率的时间序列。
我想添加一些入选标准，例如我只想考虑心率≥90的患者的ICU停留时间至少一小时。如果在一小时后（从≥90值开始）的第一次测量的心率未知，我们假设它高于90且包括ICU停留。
该ICU停留的条目应包括从对应于“至少1小时”时间跨度的第一次测量开始。
请注意，一旦包含ICU住院，即使心率在某个时间点低于90，也不会再次被驱逐。
下面是数据框，其中＆＃34; Icustay＆＃34;对应于ICU中逗留的唯一ID和＆＃34;小时＆＃34;表示自入境以来在ICU中花费的时间
Heart Rate Hours Icustay Inclusion Criteria
0 79 0.0 1001 0
1 91 1.5 1001 0
2 NaN 2.7 1001 0
3 85 3.4 1001 0
4 90 0.0 2010 0
5 94 29.4 2010 0
6 68 0.0 3005 0
应该成为
Heart Rate Hours Icustay Inclusion Criteria
0 79 0.0 1001 0
1 91 1.5 1001 1
2 NaN 2.7 1001 1
3 85 3.4 1001 1
4 90 0.0 2010 1
5 94 29.4 2010 1
6 68 0.0 3005 0
我为此编写了代码，但它确实有效。然而，它非常慢，每个患者在处理我的整个数据集时可能需要几秒钟（实际上我的数据集包含的数据多于6个字段，但我已将其简化为更好的可读性）。由于有40,000名患者，我想加快速度。
这是我目前正在使用的代码，以及我上面提到的玩具数据集。
import numpy as np
import pandas as pd
d = {'Icustay': [1001, 1001, 1001, 1001, 2010, 2010, 3005], 'Hours': [0, 1.5, 2.7, 3.4, 0, 29.4, 0],
'Heart Rate': [79, 91, np.NaN, 85, 90, 94, 68], 'Inclusion Criteria':[0, 0, 0, 0, 0, 0, 0]}
all_records = pd.DataFrame(data=d)
for curr in np.unique(all_records['Icustay']):
print(curr)
curr_stay = all_records[all_records['Icustay']==curr]
indexes = curr_stay['Hours'].index
heart_rate_flag = False
heart_rate_begin_time = 0
heart_rate_begin_index = 0
for i in indexes:
if(curr_stay['Heart Rate'][i] >= 90 and not heart_rate_flag):
heart_rate_flag = True
heart_rate_begin_time = curr_stay['Hours'][i]
heart_rate_begin_index = i
elif(curr_stay['Heart Rate'][i] < 90):
heart_rate_flag = False
elif(heart_rate_flag and curr_stay['Hours'][i]-heart_rate_begin_time >= 1.0):
all_records['Inclusion Criteria'].iloc[indexes[indexes>=heart_rate_begin_index]] = 1
break
请注意，数据集按患者和小时排序。
有没有办法加快速度？我已经考虑过像group by这样的内置函数，但是我不确定它们会在这种特殊情况下有所帮助。
答案 0 :(得分：1)
您可以在pandas中使用groupby和apply功能。这也应该更快。
## fill missing values
all_records['Heart Rate'].fillna(90, inplace=True)
## use apply
all_records['Inclusion Criteria'] = all_records.groupby('Icustay').apply(lambda x: (x['Heart Rate'].ge(90)) & (x['Hours'].ge(0))).values.astype(int)
print(all_records)
Heart Rate Hours Icustay Inclusion Criteria
0 79.0 0.0 1001 0
1 91.0 1.5 1001 1
2 97.0 2.7 1001 1
3 90.0 3.4 1001 1
4 90.0 0.0 2010 1
5 94.0 29.4 2010 1
6 68.0 0.0 3005 0
答案 1 :(得分：1)
这看起来有点难看，但它避免了循环，而puts "between joins"（这本质上只是一个循环）。我还没有在大型数据集上测试过，但我怀疑它会比你当前的代码快得多。
首先，创建一些其他列，其中包含下一行/上一行的详细信息，因为这可能与您的某些条件相关：
apply接下来，创建一个包含每个id的第一个合格记录的DataFrame（由于涉及的逻辑量，这现在非常混乱）：
all_records['PrevHeartRate'] = all_records['Heart Rate'].shift()
all_records['NextHours'] = all_records['Hours'].shift(-1)
all_records['PrevICU'] = all_records['Icustay'].shift()
all_records['NextICU'] = all_records['Icustay'].shift(-1)
这给了我们：
first_per_id = (all_records[((all_records['Heart Rate'] >= 90) |
((all_records['Heart Rate'].isnull()) &
(all_records['PrevHeartRate'] >= 90) &
(all_records['Icustay'] == all_records['PrevICU']))) &
((all_records['Hours'] >= 1) |
((all_records['NextHours'] >= 1) &
(all_records['NextICU'] == all_records['Icustay'])))]
.drop_duplicates(subset='Icustay', keep='first')[['Icustay']]
.reset_index()
.rename(columns={'index': 'first_index'}))
您现在可以从原始DataFrame中删除所有新列：
first_index Icustay
0 1 1001
1 4 2010
然后我们可以将其与原始DataFrame合并：
all_records.drop(['PrevHeartRate', 'NextHours', 'PrevICU', 'NextICU'], axis=1, inplace=True)
，并提供：
new = pd.merge(all_records, first_per_id, how='left', on='Icustay')
从这里我们可以比较＆＃39; first_index＆＃39; （这是该id的第一个合格索引），对于实际索引：
Heart Rate Hours Icustay Inclusion Criteria first_index
0 79.0 0.0 1001 0 1.0
1 91.0 1.5 1001 0 1.0
2 97.0 2.7 1001 0 1.0
3 NaN 3.4 1001 0 1.0
4 90.0 0.0 2010 0 4.0
5 94.0 29.4 2010 0 4.0
6 68.0 0.0 3005 0 NaN
这给出了：
new['Inclusion Criteria'] = new.index >= new['first_index']
从这里开始，我们只需要整理（将结果列转换为整数，并删除first_index列）：
Heart Rate Hours Icustay Inclusion Criteria first_index
0 79.0 0.0 1001 False 1.0
1 91.0 1.5 1001 True 1.0
2 97.0 2.7 1001 True 1.0
3 NaN 3.4 1001 True 1.0
4 90.0 0.0 2010 True 4.0
5 94.0 29.4 2010 True 4.0
6 68.0 0.0 3005 False NaN
给出最终的预期结果：
new.drop('first_index', axis=1, inplace=True)
new['Inclusion Criteria'] = new['Inclusion Criteria'].astype(int)