将大型数据帧写入S3 AWS

Question

我已经使用Amazon sagemaker创建了具有以下形状的数据框。

10612611 rows × 4 columns

都是数字值。 当我尝试按以下方式将此数据帧写入S3存储桶时，出现内存错误。

bytes_to_write = df.to_csv(None).encode()
with s3.open('aws-athena-query-results-xxxxxxx/query_result/xx.csv','wb') as f:
    f.write(bytes_to_write)

MemoryError：

我正在将 ml.t2.medium 用于sagemaker实例。

Answer 1

我通过将实例类型从 ml.t2.medium 更改为 ml.t2.2xlarge 解决了这个问题，并且效果很好。

最初的问题是实例类型的RAM，而不是S3。