可能非常简单,但是当尝试使用pandas旋转数据框时,下面的行失败而没有引发任何异常。
pivoted_frame = raw_frame.pivot(index='timestamp', columns='signal_id', values='value')
raw_frame是具有3列的基本数据框
signal_id timestamp value
0 43 2019-03-05 13:40:00 2.341706
1 34 2019-03-05 13:40:00 4.459418
2 52 2019-03-05 13:40:00 2.076000
3 61 2019-03-05 13:40:00 3.500000
4 70 2019-03-05 13:40:00 0.930000
... ... ... ...
3688997 31 2020-03-05 13:30:00 2.290000
3688998 32 2020-03-05 13:30:00 -48.920000
3688999 33 2020-03-05 13:30:00 -48.920000
3689000 80 2020-03-05 13:30:00 NaN
3689001 81 2020-03-05 13:30:00 NaN
如上例[3689002 rows x 3 columns]
那样使用12个月的数据执行时,我们将完成所有问题,但是,如果数据量增加到24个月[7045105 rows x 3 columns]
,则上面的行将失败,但是不会抛出异常。
如果这是这里的问题,我本来希望发生内存异常?