Question

我有一个pandas数据帧，其中我有连续和离散数据。我通过使用分层列索引以不同的方式处理它们，从而将连续数据与离散数据分开。

让我们假设以下数据框：

首先我要建立一个分层索引，然后我可以在初始化空数据帧时使用它。然后，我用连续和离散的数据填充样本数据帧。

my_multiindex = pd.MultiIndex(levels=[['discrete', 'continuous'],[]],
                              labels=[[],[]],
                              names=['Datatype', 'Data']) 

df = pd.DataFrame(columns=my_multiindex,index=pd.date_range('20180101 9:01:00',freq='s',periods=50))

df.loc[:,('continuous', 'data1')] = np.random.uniform(-50, 100, 50)
df.loc[:,('continuous', 'data2')] = np.random.uniform(-500, 800, 50)
df.loc[:,('continuous', 'data3')] = np.random.uniform(-300, 200, 50)

df.loc[:,('discrete', 'data4')] = np.random.randint(0, 2, 50)
df.loc[:,('discrete', 'data5')] = np.random.randint(0, 2, 50)
df.loc[:,('discrete', 'data6')] = np.random.randint(0, 2, 50)

结果数据框如下所示：

Datatype            continuous                         discrete            
Data                     data1       data2       data3    data4 data5 data6
2018-01-01 09:01:00  -6.406635  208.992257    1.845863        0     1     0
2018-01-01 09:01:01  80.084693  264.907285  190.628975        0     0     0
2018-01-01 09:01:02  74.734951  -39.456532 -132.749219        0     1     0
2018-01-01 09:01:03  55.703297  413.700692  147.826342        1     0     0
2018-01-01 09:01:04  25.797465 -290.116077 -250.018855        0     0     1

然后我想使用StandardScaler来扩展数据帧中的连续数据。离散数据我只是想复制到新的数据帧df_scaled。

df_scaled = pd.DataFrame(columns=my_multiindex, index=df.index)
scaler = StandardScaler()
scaler.fit(df.loc[:,'continuous'])

df_scaled.loc[:,'discrete'] = df.loc[:,'discrete']
df_scaled.loc[:,'continuous'] = pd.DataFrame(scaler.transform(df.loc[:,'continuous']))

但是，这不起作用。运行此数据后，新数据帧df_scaled仍为空。我做错了什么？

Answer 1

我不确定为什么你的方法不起作用。我猜Multiindexes仍然是大熊猫的实验。然而，有一个简单的工作方式：

df_scaled = df.copy()
df_scaled.loc[:,'continuous'] = scaler.transform(df.loc[:,'continuous'])

如果您想更详细地了解为什么您的方法不起作用，您可以考虑将此发布在pandas github问题跟踪上，并询问这是否是错误或功能。

Pandas数据帧分层索引列 - 数据帧的缩放切片

1 个答案: