对于此pandas DataFrame(实际上更长),我想获取b和date的值,其中b为当天的最小值,b为该日期的最大值。性能是一个问题。
b date
0 1 1999-12-29 23:59:12
1 2 1999-12-29 23:59:13
2 3 1999-12-29 23:59:14
3 3 1999-12-30 23:59:12
4 1 1999-12-30 23:59:13
5 2 1999-12-30 23:59:14
6 2 1999-12-31 23:59:12
7 3 1999-12-31 23:59:13
8 1 1999-12-31 23:59:14
所以我会得到
b date
0 1 1999-12-29 23:59:12
2 3 1999-12-29 23:59:14
3 3 1999-12-30 23:59:12
4 1 1999-12-30 23:59:13
7 3 1999-12-31 23:59:13
8 1 1999-12-31 23:59:14
这是生成数据框的方式:
import datetime
import pandas as pd
df = pd.DataFrame({"a": ["29.12.1999 23:59:12",
"29.12.1999 23:59:13",
"29.12.1999 23:59:14",
"30.12.1999 23:59:12",
"30.12.1999 23:59:13",
"30.12.1999 23:59:14",
"31.12.1999 23:59:12",
"31.12.1999 23:59:13",
"31.12.1999 23:59:14"],
"b": [1,
2,
3,
3,
1,
2,
2,
3,
1]})
df["date"] = pd.to_datetime(df.a)
df.drop(["a"],axis=1,inplace=True)
答案 0 :(得分:1)
首先将date
转换为日期格式,然后使用b
对值sort_values
进行排序,然后使用drop_duplicates
来获取所需的内容
df=df.assign(days=df.date.dt.date).sort_values('b')
yourdf=pd.concat([df.drop_duplicates('days'),df.drop_duplicates('days',keep='last')]).\
sort_index().\
drop('days',1)
yourdf
Out[242]:
b date
0 1 1999-12-29 23:59:12
2 3 1999-12-29 23:59:14
3 3 1999-12-30 23:59:12
4 1 1999-12-30 23:59:13
7 3 1999-12-31 23:59:13
8 1 1999-12-31 23:59:14
答案 1 :(得分:1)
由于日期的迭代,性能可能不是最高,但是:
df['true_date'] = df['date'].dt.date
date_min_max = df.groupby('true_date')['b'].agg(['min','max'])
result = pd.DataFrame(columns=['b','date'])
for date, min_max_series in date_min_max.iterrows():
date_values = df[(df['true_date'] == date) & df['b'].isin(min_max_series)][['b','date']]
result = result.append(date_values)
Out[170]:
b date
0 1 1999-12-29 23:59:12
2 3 1999-12-29 23:59:14
3 3 1999-12-30 23:59:12
4 1 1999-12-30 23:59:13
7 3 1999-12-31 23:59:13
8 1 1999-12-31 23:59:14
答案 2 :(得分:1)
>>> dfg = df.set_index('date').groupby(pd.Grouper(freq='D'))
>>> df['dailyMin'] = df['date'].isin(dfg.idxmin()['b'])
>>> df['dailyMax'] = df['date'].isin(dfg.idxmax()['b'])
>>> df[df[['dailyMin', 'dailyMax']].any(axis=1)]
b date dailyMin dailyMax
0 1 1999-12-29 23:59:12 True False
2 3 1999-12-29 23:59:14 False True
3 3 1999-12-30 23:59:12 False True
4 1 1999-12-30 23:59:13 True False
7 3 1999-12-31 23:59:13 False True
8 1 1999-12-31 23:59:14 True False
这可能不是最有效的方法。我对.isin()
有疑问。另外,这部分取决于您的数据集-请参阅以下讨论:Select the max row per group - pandas performance issue