groupby返回第n个组-非行

Question

我正在尝试按长（> 2M）行中的两个因素进行分组。

数据背景

第二个因素实际上是测试日期-对于给定的样品（第一组），可以重新测试样品。 但是测试会改变样本，因此能够有选择地从第二个测试（或第三，第四等）中提取一批测试数据很有用。

更早的问题和当前代码

我前段时间问了一个问题，并且到了一个带有函数的地方，非常感谢Praveen： Sorting and ranking by dates, on a group in a pandas df 但这非常慢：在120万行数据集上运行，到目前为止，它在具有96GB内存的JupyterHub服务器上花费了20分钟以上，并且仍在运行。

df1 = df.sort_values(['id', 'date'], ascending=[True, False])
df1['date_rank'] = df1.groupby(['id'])['date'].transform(lambda x: list(map(lambda y: dict(map(reversed, dict(enumerate(x.unique())).items()))[y]+1,x)) )

当前想法

感觉不是像我第一次想到的那样用数字标记测试日期，而是感觉这可以用cumcount，groupby.nth或getgroup来实现-但是我无法到达那里。有人有什么想法吗？ 以下数据集仍然相关：

df = pd.DataFrame({
'id':[1, 1, 1, 2, 2, 3, 3, 3, 4, 4, 5, 5, 6,6,6,7,7], 
'value':[.01, .4, .5, .7, .77, .1,.2, 0.3, .11, .21, .4, .01, 3, .5, .8, .9, .1],
'date':['10/01/2017 15:45:00','10/01/2017 15:45:00','05/01/2017 15:56:00',
    '11/01/2017 15:22:00','11/01/2017 15:22:00','06/01/2017 11:02:00','05/01/2017 09:37:00','05/01/2017 09:37:00','05/01/2017 09:55:00',
    '05/01/2017 09:55:00','05/01/2017 10:08:00','05/01/2017 10:09:00','03/02/2017 08:55:00',
    '03/02/2017 09:15:00','03/02/2017 09:31:00','09/01/2017 15:42:00',
    '19/01/2017 16:34:00']})

我正在尝试在date_rank列中生成类似的数据；尽管我很乐意不生成列，但我只希望能够选择包含第二个测试日期数据的行。

例如：

df.groupby(['id','date'])['value'].unique()

返回：

id  date               
1   05/01/2017 15:56:00           [0.5]
    10/01/2017 15:45:00     [0.01, 0.4]
2   11/01/2017 15:22:00     [0.7, 0.77]
3   05/01/2017 09:37:00      [0.2, 0.3]
    06/01/2017 11:02:00           [0.1]
4   05/01/2017 09:55:00    [0.11, 0.21]
5   05/01/2017 10:08:00           [0.4]
    05/01/2017 10:09:00          [0.01]
6   03/02/2017 08:55:00           [3.0]
    03/02/2017 09:15:00           [0.5]
    03/02/2017 09:31:00           [0.8]
7   09/01/2017 15:42:00           [0.9]
    19/01/2017 16:34:00           [0.1]

我希望能够选择（例如）组中可用的第二组，例如：

1 - 10/01/2017 15:45:00 [0.01, 0.04]
3 - 06/01/2017 11:02:00 [0.1]
5 - 05/01/2017 10:09:00 [0.01]
6 - 03/02/2017 09:15:00 [0.5]

任何帮助或想法都会受到赞赏。

Answer 1

您可以reset_index，然后使用GroupBy + nth：

res = df.reset_index().groupby('id').nth(1)

print(res)

                   date        value
id                                  
1   10/01/2017 15:45:00  [0.01, 0.4]
3   06/01/2017 11:02:00        [0.1]
5   05/01/2017 10:09:00       [0.01]
6   03/02/2017 09:15:00        [0.5]
7   19/01/2017 16:34:00        [0.1]