Question

我有一个数据集，其中包含一个月的每分钟数据。但是，有许多缺失的价值。我的数据集如下：

    Date                  Col1          Col2
2018-06-01 08:01:00        Nan            Nan
2018-06-01 08:02:00        14             24
2018-06-01 08:03:00        17             18
2018-06-01 08:04:00        Nan            Nan  
...........
...........
...........
...........
2018-06-30 23:57:00         12             13 
2018-06-30 23:58:00         Nan            Nan  
2018-06-30 23:59:00         18             22

整个数据集中每分钟会有 30 个值。因此，我想用该分钟的平均值来填充缺失的值。我想每分钟都这样做。

例如：

    Date                  Col1          Col2
2018-06-01 08:01:00        Nan            Nan
2018-06-02 08:01:00        14             21
2018-06-03 08:01:00        16             28
2018-06-04 08:01:00        Nan            Nan  
...........
...........
...........
...........
2018-06-28 08:01:00         12             19 
2018-06-29 08:01:00         Nan            Nan  
2018-06-30 08:01:00         17             22

因此，为了首先获取08:01:00上的所有值，我做了df.at_time('08:01:00')，上面给出了示例表。但是，然后如何填补那个时代的缺失值呢？如果我执行df.fillna(df.at_time('08:01:00').mean())，它将填充整个数据集的所有所有缺失值，平均值为08:01:00，但是我只希望填充08:01:00的缺失值08:01:00个值的平均值。我想每一分钟都做到这一点。

任何帮助将不胜感激！

编辑：

您可以通过以下代码创建数据框，也可以创建自己的随机示例

df = pd.DataFrame({'Col1': [1,5,6,Nan,Nan,Nan]}, index= ['2018-06-01 08:00:00','2018-06-01 08:01:00','2018-06-02 08:01:00','2018-06-03 08:01:00', '2018-06-04 08:01:00','2018-06-02 08:00:00'])

Answer 1

我认为您有时需要GroupBy.transform来使用time，并用fillna来替换缺失的值：

print (df)
                 Date  Col1  Col2
0 2018-06-01 08:01:00   NaN   NaN
1 2018-06-02 08:01:00  14.0  24.0 <-change datetime
2 2018-06-03 08:01:00  17.0  18.0 <-change datetime
3 2018-06-01 08:04:00   NaN   NaN
4 2018-06-30 23:57:00  12.0  13.0
5 2018-06-30 23:58:00   NaN   NaN
6 2018-06-30 23:59:00  18.0  22.0

cols = ['Col1','Col2']
df[cols] = df[cols].fillna(df.groupby(df['Date'].dt.time)[cols].transform('mean'))

或使用自定义lambda函数：

cols = ['Col1','Col2']
df[cols] = df.groupby(df['Date'].dt.time)[cols].transform(lambda x: x.fillna(x.mean()))

print (df)
                 Date  Col1  Col2
0 2018-06-01 08:01:00  15.5  21.0
1 2018-06-02 08:01:00  14.0  24.0
2 2018-06-03 08:01:00  17.0  18.0
3 2018-06-01 08:04:00   NaN   NaN
4 2018-06-30 23:57:00  12.0  13.0
5 2018-06-30 23:58:00   NaN   NaN
6 2018-06-30 23:59:00  18.0  22.0

Answer 2

您在寻找这个吗？

lowest_label

对于特定的列，您可以：

df.fillna(df.mean())

如何用该特定时间值的均值填充Nan值？

2 个答案: