Question

我有一个看起来那样的pandas df（我复制了每一行）：

          START                END               
0 2018-03-02 23:56:02  2018-03-03 01:25:50 
1 2018-03-03 23:44:10  2018-03-04 03:03:05 
2 2018-02-05 21:57:06  2018-02-06 08:25:19
3 2018-02-06 19:30:00  2018-02-07 09:04:13
4 2018-02-07 21:51:07  2018-02-08 08:13:34
0 2018-03-02 23:56:02  2018-03-03 01:25:50 
1 2018-03-03 23:44:10  2018-03-04 03:03:05
2 2018-02-05 21:57:06  2018-02-06 08:25:19
3 2018-02-06 19:30:00  2018-02-07 09:04:13
4 2018-02-07 21:51:07  2018-02-08 08:13:34

我想将更新行看起来像这样：

          START                END               
0 2018-03-02 23:56:02  **2018-03-02 23:59:59** 
1 2018-03-03 23:44:10  **2018-03-03 23:59:59** 
2 2018-02-05 21:57:06  **2018-02-05 23:59:59**
3 2018-02-06 19:30:00  **2018-02-06 23:59:59**
4 2018-02-07 21:51:07  **2018-02-07 23:59:59**
0 **2018-03-03 00:00:00**  2018-03-03 01:25:50 
1 **2018-03-04 00:00:00**  2018-03-04 03:03:05
2 **2018-02-06 00:00:00**  2018-02-06 08:25:19
3 **2018-02-07 00:00:00**  2018-02-07 09:04:13
4 **2018-02-08 00:00:00**  2018-02-08 08:13:34

我尝试使用带头或尾的groupby，但它不起作用：

df.loc[df.groupby(df.index).head(1).index, 'END'] = df.START.replace(hour=23, minute=59, second=59)
df.loc[df.groupby(df.index).tail(1).index, 'START'] = df.END.replace(hour=0, minute=0, second=0)

我想我错过了什么。谢谢你的帮助。

Answer 1

print (df)
                START                 END
0 2018-03-02 23:56:02 2018-03-03 01:25:50
1 2018-03-03 23:44:10 2018-03-04 03:03:05
2 2018-02-05 21:57:06 2018-02-06 08:25:19
3 2018-02-06 19:30:00 2018-02-07 09:04:13
4 2018-02-07 21:51:07 2018-02-08 08:13:34

首先使用dt.floor设置开始日期和结束日期：

df1, df2 = df.copy(), df.copy()
df1['END'] = df1.START.dt.floor('d') + pd.Timedelta(1, unit='d') - pd.Timedelta(1, unit='s')
df2['START'] = df2.END.dt.floor('d')

最后concat：

df = pd.concat([df1,df2], ignore_index=True)
print (df)
                START                 END
0 2018-03-02 23:56:02 2018-03-02 23:59:59
1 2018-03-03 23:44:10 2018-03-03 23:59:59
2 2018-02-05 21:57:06 2018-02-05 23:59:59
3 2018-02-06 19:30:00 2018-02-06 23:59:59
4 2018-02-07 21:51:07 2018-02-07 23:59:59
5 2018-03-03 00:00:00 2018-03-03 01:25:50
6 2018-03-04 00:00:00 2018-03-04 03:03:05
7 2018-02-06 00:00:00 2018-02-06 08:25:19
8 2018-02-07 00:00:00 2018-02-07 09:04:13
9 2018-02-08 00:00:00 2018-02-08 08:13:34

相反floor可能会使用较慢的apply + replace：

df1['END'] = df1.START.apply(lambda x: x.replace(hour=23, minute=59, second=59))
df2['START'] = df2.END.apply(lambda x: x.replace(hour=0, minute=0, second=0))

<强>计时：

df = pd.concat([df] * 10000, ignore_index=True)


In [242]: %%timeit
     ...: df1, df2 = df.copy(), df.copy()
     ...: df1['END'] = df1.START.dt.floor('d') + pd.Timedelta(1, unit='d') - pd.Timedelta(1, unit='s')
     ...: df2['START'] = df2.END.dt.floor('d')
     ...: 
100 loops, best of 3: 19.1 ms per loop

In [243]: %%timeit 
     ...: df1, df2 = df.copy(), df.copy()
     ...: df1['END'] = df1.START.apply(lambda x: x.replace(hour=23, minute=59, second=59))
     ...: df2['START'] = df2.END.apply(lambda x: x.replace(hour=0, minute=0, second=0))
     ...: 
1 loop, best of 3: 534 ms per loop

Answer 2

试图制定你想做的事情：

对于每个重复的行，
*用开始时间创建1行（并替换结束时间）
*使用结束时间创建1行（并替换开始时间）

使用复制功能可能有帮助吗？

df[df.duplicated(keep='first')]

应返回上半部分，然后您可以替换endtime，同样使用

df[df.duplicated(keep='last')]

另一半。

您可以在此处详细了解该功能： https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.duplicated.html

PYTHON - PANDAS - Groupby更新行值

2 个答案: