Question

我有一个具有以下形式的数据框：

data = pd.DataFrame({'ID':[1,1,1,2,2,2,2,3,3],'Time':[0,1,2,0,1,2,3,0,1],
                     'sig':[2,3,1,4,2,0,2,3,5],'sig2':[9,2,8,0,4,5,1,1,0],
                     'group':['A','A','A','B','B','B','B','A','A']})

print(data)

   ID  Time  sig  sig2 group
0   1     0    2     9     A
1   1     1    3     2     A
2   1     2    1     8     A
3   2     0    4     0     B
4   2     1    2     4     B
5   2     2    0     5     B
6   2     3    2     1     B
7   3     0    3     1     A
8   3     1    5     0     A

我想重塑形状并填充，以使每个“ ID”具有相同数量的时间值，sig1，sig2填充零（或ID内的平均值），并且该组携带相同的字母值。重新填充后的输出为：

data_pad = pd.DataFrame({'ID':[1,1,1,1,2,2,2,2,3,3,3,3],'Time':[0,1,2,3,0,1,2,3,0,1,2,3],
                     'sig1':[2,3,1,0,4,2,0,2,3,5,0,0],'sig2':[9,2,8,0,0,4,5,1,1,0,0,0],
                     'group':['A','A','A','A','B','B','B','B','A','A','A','A']})

print(data_pad)

    ID  Time  sig1  sig2 group
0    1     0     2     9     A
1    1     1     3     2     A
2    1     2     1     8     A
3    1     3     0     0     A
4    2     0     4     0     B
5    2     1     2     4     B
6    2     2     0     5     B
7    2     3     2     1     B
8    3     0     3     1     A
9    3     1     5     0     A
10   3     2     0     0     A
11   3     3     0     0     A

我的最终目标是最终将其重塑为某种形状（ID数，时间点数，序列数{2 here}）。

看来，如果我旋转data，它会用nan值填充，这对信号值很好，但对组没有好处。我还希望避免循环遍历data.groupby（'ID'），因为我的实际数据具有大量的组，并且循环可能非常慢。

Answer 1

这是一种使用pd.MultiIndex.from_product创建新索引并将其用于reindex列上的Time的方法：

df = data.set_index(['ID', 'Time'])
# define a the new index
ix = pd.MultiIndex.from_product([df.index.levels[0], 
                                 df.index.levels[1]], 
                                 names=['ID', 'Time'])
# reindex using the above multiindex
df = df.reindex(ix, fill_value=0)
# forward fill the missing values in group
df['group'] = df.group.mask(df.group.eq(0)).ffill()

print(df.reset_index())

    ID   Time  sig  sig2 group
0    1     0    2     9     A
1    1     1    3     2     A
2    1     2    1     8     A
3    1     3    0     0     A
4    2     0    4     0     B
5    2     1    2     4     B
6    2     2    0     5     B
7    2     3    2     1     B
8    3     0    3     1     A
9    3     1    5     0     A
10   3     2    0     0     A
11   3     3    0     0     A

Answer 2

IIUC：

(data.pivot_table(columns='Time', index=['ID','group'], fill_value=0)
     .stack('Time')
     .sort_index(level=['ID','Time'])
     .reset_index()
)

输出：

    ID group  Time  sig  sig2
0    1     A     0    2     9
1    1     A     1    3     2
2    1     A     2    1     8
3    1     A     3    0     0
4    2     B     0    4     0
5    2     B     1    2     4
6    2     B     2    0     5
7    2     B     3    2     1
8    3     A     0    3     1
9    3     A     1    5     0
10   3     A     2    0     0
11   3     A     3    0     0

填充和重塑熊猫数据框

2 个答案: