在Sagemaker中透视大熊猫数据框

时间:2019-02-04 05:44:36

标签: python pandas dataframe pivot

我有一个很大的数据帧,容量只有几GB,我正在尝试调整数据帧。每当我尝试使用

时,我都会遇到内存错误
sed -i -e 's/\""[a-z]+[0-9]+[.-]+\""/"[a-z]+[0-9]+[.-]+\"/g' file.json 

我尝试使用这些块,但是我很难将所有块作为一个附件附加回去。最终,我尝试使用以下代码来利用表格式,但是我一直遇到关键错误。

pivoted = df.pivot(index = 'column1', columns = 'column2', values = 'column3').fillna(0)

有什么更好的方法来枢转几Gb的大熊猫数据帧。

0 个答案:

没有答案